Pokaż wyniki 1 do 9 z 9

Temat: Superkomputery - z jakich korzystacie?

  1. #1
    Zarejestrowany
    Sep 2006
    Postów
    1,227

    Domyślnie Superkomputery - z jakich korzystacie?

    Z których superkomputerów korzystacie, gdy potrzebujecie przefiltrować np. orgomne pliki tekstowe, bazy danych, wykonać jakieś duże operacje matematyczne itd? Mój domowy/firmowy sprzęt już nie wyrabia... Dziś idę na politechnikę wrocławską, ale spodziewam się zastać sporą kolejkę do sprzętu.

  2. #2
    Zarejestrowany
    Dec 2006
    Postów
    726

    Domyślnie

    No to takich celów to by się przydała pokaźna siec ząbi.
    "dobrzy hakerzy są sławni na cały świat, ale o hakerach geniuszach nikt nic nie wie."

  3. #3
    Zarejestrowany
    Sep 2006
    Postów
    1,227

    Domyślnie

    Cytat Napisał kosiarz Zobacz post
    No to takich celów to by się przydała pokaźna siec ząbi.
    ?
    1) Nie jest to sprawne rozwiązanie przy 1GB> danych.
    2) Nie patrz na wszystko z punktu widzenia łamania prawa. Bądź whitehat.


    Btw... 1gb czystego tekstu wrzucany na irc... niezły widok :-)

  4. #4
    Zarejestrowany
    Jun 2006
    Skąd
    rand(.eu)
    Postów
    8,748

    Domyślnie

    Ja kazdego dnia pracuje na bazach ktore maja w jednej tabeli po 40GB... mieli nam to engine oczywiscie bazodanowy. Jesli mozesz obrabiac dane strumieniowo to juz jestes znacznie do przodu, bo mozesz to puscic przez jakis filtr.

    Ja uzywam do takich rzeczy perl'a albo shell'a zalezy jak nastroj dopisuje (lub nie). Dotyczy to baz szczegolnie plikow tekstowych.

    Bazy danych maja swoj engine... aby przyspieszyc operacje mamy w biurze system testowy (dev box) i na niego zrzucamy te dane co nas interesuja szczegolnie i jak cos na prawde na wczoraj trzeba to on mieli calosc - oszczedzamy w ten sposob czas na systemie produkcyjnym a do tego ten dev jest znacznie mocniejszy - nowa maszyna 'wygrzewana' przed wejsciem w produkcje - wiec mocy ma z zapasem

    Do obliczen - jak masz w biurze troche kompow, to proponuje pomyslec o czyms w stylu Mosix - u mnie sprawdzalo sie doskonale. Niestety nie wszystkie aplikacje sobie radzily prawidlowo w clustrze ale generalnie roznica byla ogromna. Mosix w przeciwienstwie do beowulf'a nie ma serwera centralnego - to taki maly p2p prawie ale kazdy zna IP kazdego... Do takich sieci proponowalbym boot z netu (pxe) i ladowanie OSa przez LAN, konfiugracja IP i wrzucenie wlasciwego pliku z lista peer'ow.
    Ostatnio bawilem sie tym dosc dawno temu, wiec moja wiedza jest lekko zardzewiala juz, ale majac okolo 30 maszyn mozna bylo smigac az milo!

    Inny wariant do obliczen to tak jak Seti (nawet stare) czy BOINC - liczenie pakietow po kawalku... jesli dane nie sa zalezne jedne od drugich...

    Jakbys powiedzial cos wiecej i dokladniej jaki rodzaj danych to jest to moznaby cos wiecej wrzucic pomyslow.
    ctrl-alt-del.cc - soft reset site for IT admins and other staff :-)

  5. #5
    Avatar ble34
    ble34 jest offline jestem bugiem
    Zarejestrowany
    Oct 2006
    Skąd
    krzesło
    Postów
    681

    Domyślnie re

    1/3 neta to zobi
    kup sobie troche miejsca
    pewnie połowa znas to część ruskich bot netów
    maskra gdy tak staram się ogranąć całość to jestem przerażony np 20 latek w stanach admin botnetu który liczył sobie pół miliona zombi
    wskład wchodziły kompy sił zbroinych usa

  6. #6
    Avatar eMCe
    eMCe jest offline Emil Grzegorz Gubała
    Zarejestrowany
    Dec 2006
    Skąd
    Kielce
    Postów
    1,767

    Domyślnie

    hehe stary spokojnie... ameryki z polski nie trzeba robić ;D
    tutaj jak masz 5zombie to jesteś gość

    po 1) skąd ty 1GB tekstu wziąłeś? napad na Wikipedia czy co?
    po 2) zastanawiam się nad tym jak by to wyszło używając np skryptów php i porozsadzać skrypty po jakiś serverach darmowych i dać każdemu conieco do roboty...
    Agencja reklamy kielce (mały kilkudniowy case pozycjonerski )

  7. #7
    Zarejestrowany
    Dec 2006
    Postów
    726

    Domyślnie

    Może zebrał wszystkie tematy z tego forum dotyczące tibi
    Z tymi serwerami darmowymi to by było ciężkie i bardzo czaso chłonne.
    "dobrzy hakerzy są sławni na cały świat, ale o hakerach geniuszach nikt nic nie wie."

  8. #8
    Zarejestrowany
    Sep 2006
    Postów
    1,227

    Domyślnie

    Cytat Napisał eMCe Zobacz post
    1) skąd ty 1GB tekstu wziąłeś? napad na Wikipedia czy co?
    To jest książka teleadresowa. Chcę zsynchronizować bazę danych z aplikacją do zarządzania danymi klientów.
    W php, oszalałeś? Domyślnie (i bardzo dobrze) w php.ini jest ustawienie ograniczenia korzystania z pamięci podręcznej do 8 MB. W dokumentacji znajdziesz dokładne powody takiego ustawienia.Po za tym tak jak tqm napisał, takie żeczy robi się w językach czysto skryptowych typu perl, aktualnie robie to w awk i bashu ale jest ciężko bo na prawdę wolno idzie na moich maszynach.
    Na czym polega problem? separatorami między danymi są ... spacje i to w losowej liczbie. No i wygląda tak, że mając więcej niż pięć spacji, nie wiadomo, czy to oddzielenie 2 kolumn, czy już trzech. Wyrażenia regularne poszły w ruch. kończę pisać wyrażenia na wszystkie kolumny, ale właśnie ta metoda znacznie spowalnia proces analizy dokumentu z kilkoma milionami linii... do tego dochodzą znaki specjalne.. (praktycznie cały przedział ascii).
    Mam zabawę.
    Jak szef zobaczył zrobionych już 5000 wierszy bazy danych, od razu dał mi premię ;-)

  9. #9
    Zarejestrowany
    Jun 2006
    Skąd
    rand(.eu)
    Postów
    8,748

    Domyślnie

    Mastering Regular Expressions - to jest lektura do podusi Mad_Dud
    Perl bedzie najlepszy do takich obrobek, jakikolwiek model rozproszony odpada w sumie bo musisz mieco szybkie I/O do pliky i bazy... Mozesz odpalic filtr i np ustawic w nim obsluge sygnalu ktory bedzie wyswietlal ile rekordow przemieliles juz...

    Jak uzywasz tego na maszynach z 1 CPU to jest to dosyc dosyc znosne... na wiecej CPU moze sie zachowywac roznie - zaleznie od systemu operacyjnego.

    Kod:
    #!/usr/bin/perl
    my $licznik=0;
    
    sub pokaz_licznik {
      print STDERR "$licznik rekordow\n";
      alarm 10;
    }
    
    $SIG{ALRM} = \&pokaz_licznik;
    
    # rozpoczynamy przetwarzanie
    alarm 10;
    ...
    # koniec pracy
    alarm 0;
    exit;
    W tym momencie co 10 sekund bedziesz mial na STDERR info o ilosci zrobionych rekordow

    Ja wlasnie pracuje nad nowa implementacja serwera aplikacyjnego w firmie... wstepne zalozenia:
    - na razie ma obsluzyc 200 polczen/sek, do konca roku oczekujemy przyrostu 10x
    - nie-blokujace I/O z multiplexem do API bazy danych i pozostalej logiki
    - szybkie logowanie w trybie append-only (prawdopodobnie tworzenie malych plikow tekstowych na dysku -- save and forget)
    - optymalizowane na szybkosc...

    Moim problemem jest ze wejscie do serwera aplikacyjnego idzie przez http, czyli jakis serwer WWW ktory dalej wywoluje API i to jest wlasnie nasze waskie gardlo - sposob w jaki np apache buforuje polaczenia, dlugosc kolejek i buforow na warstwie TCP/IP... Moja dzialka to tuning i bezpieczenstwo systemow i kodu.
    ctrl-alt-del.cc - soft reset site for IT admins and other staff :-)

Zasady Postowania

  • Nie możesz zakładać nowych tematów
  • Nie możesz pisać wiadomości
  • Nie możesz dodawać załączników
  • Nie możesz edytować swoich postów
  •  
Subskrybuj

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52