Klaster do obliczeń na kartach graficznych.

[dejmien25]

Witam.

Potrzebuję pomocy z pewnym zadaniem do szkoły... muszę zrobić kosztorys budowy klastra komputerowego do obliczeń na kartach graficznych, max koszty to 10 000 zł.

Niech ktoś się orientuje w temacie to proszę o pomoc:

1. Takie klaster najlepiej zbudować z 2 komputerów czy więcej?
2. Jako że klaster ma być do obliczeń na kartach graficznych to najważniejszym komponentem musi być właśnie karta graficzna. Czy każda karta nvidia nadaje się do takich obliczeń czy musi być to specjalna karta graficzna?
3. Czy procesor jest konieczny?
4. Zamiast zwykłego dysku twardego będzie trzeba zastosować macierz dyskowy prawda?
5. Jaki sposób będzie najlepszy do połączenia komputerów? Ja zastanawiam się nad tym żeby ten klaster działał pod kontrolą systemu LINUX tak więc myślałem nad oprogramowaniem MOSIX do połączenia tych komputerów.

Proszę o pomoc, każda rada się przyda... czas mnie goni a ja nawet nie zacząłem pisać pracy...

[TQM]

To Mosix jeszcze zyje? Wow... ostatnio jak tego uzywalem to bylo cos kolo 1999 albo 2000 roku Pamietaj tez ze Mosix wymaga bardzo szybkiego lacza miedzy wezlami i nie ma pojecia o kalkulacjach na GPU - twoja aplikacja musi to wspierac pod konkretne zadanie - Mosix to nie recepta.

Nie kazda karta NVidia sie nadaje bo nie kazda wspiera technologie CUDA. Do tego trzeba dodac ze czesto karty ATI ze wsparciem dla OpenCL sa o wiele wydajniejsze niz NVidia.

1 czy 2 komputery... tyle ile trzeba bo do komputera wsadzisz max 2-3 karty graficzne. Pamietaj tez o koszcie zasilania bo zasilacz tez nie kazdy podola - nie zdziw sie jesli wyliczysz ze karta bierze tyle pradu ze musi miec wlasne zasilanie (wlasny zasilacz taki jak do komputera a podpiety jedynie do karty graficznej).

Linux jest ok a co do procesora to generalnie obliczenia sa przerzucane na GPU wiec wiele procesora nie trzeba. Jesli mowa o karmieniu danymi 2 kart NVidia Tesla to aby maksymalnie je wykorzystac potrzeba mniej wiecej 1 rdzenia Intel Xeon pod warunkiem ze ten rdzen nie robi nic innego. Jesli masz w kompie procesor z 4 rdzeniami to 2 na OS 2 na ciagniecie kart graficznych i bedzie max wydajnosci.

Za 10tys mozesz poskladac mniej wiecej jeden bardzo rozsadny komputer z 2x ATI Radeon 9770 albo jak dobrze kupisz sprzet to 2 takie ale na gorszych komponentach (zakladam ze na kartach graficznych nie oszczedzasz)... a pozniej dodac okolo 1.1-1.2kW ktory kazdy z tych potworow bedzie ciagnal (bo tyle wynosi faktyczne zapotrzebowanie takiego komputera gdy trwaja obliczenia).

Proponuje zobaczyc na Open MPI: Open Source High Performance Computing i Amazon AWS - do niedawna mieli serwery GPU (2x NVidia Tesla) - moze byc taniej je wynajac na godziny niz budowac sprzet, zalezy ile ma byc uzywany... wiec jako ciekawostka w projekcie mozesz pokazac ile godzin obliczen mozna kupic za ten 10k.

[dejmien25]

Ja potrzebuję zrobić do szkoły kosztorys takowego klastra, czyli wykazać z jakich komponentów się składa taki klaster i opisać go.

To Mosix jeszcze zyje? Wow... ostatnio jak tego uzywalem to bylo cos kolo 1999 albo 2000 roku Pamietaj tez ze Mosix wymaga bardzo szybkiego lacza miedzy wezlami i nie ma pojecia o kalkulacjach na GPU - twoja aplikacja musi to wspierac pod konkretne zadanie - Mosix to nie recepta.

Ehhh no to mam najwidoczniej bardzo stare informacje... :-p Czyli klaster można zrobić na jednej płycie głównej?

Planuję wykorzystać dwie karty Hewlett-Packard NVIDIA Quadro 2000 1GB. Wspiera ona technologie CUDA. 3 kart graficznych raczej mi się nie uda upakować bo jak widzisz nauczyciel przydzielił mi dość niski budżet.

Co do procesora to myślałem nad czymś takim: Procesor serwerowy Intel Xeon Processor E3-1230V2 [8M Cache, 3.30 GHz].

Kojarzysz może jakąś płytę główną z wejściem na dwie karty graficzne, socketem 1155 i BIOSem obsługującym architekturę Intel 64?

Teraz jeszcze kwestia pamięci HDD. Tu chyba najlepiej nadadzą się dyski RAID. Znalazłem w na morele.net przykładową obudowę obudowa na 3 dyski 3,5" SATA, Raid Backplane (ICY DOCK MB453SPF-B) w Morele.net mieści ona 3 dyski 3,5. Jaka będzie odpowiednia ilość pamięci dla takiego klastra? No i jeszcze trzeba pamiętać że płyta główna musi obsługiwać RAID...

Pamięć RAM: to chyba najmniej ważna kwestia prawda?

No i jeszcze kwestia wyboru obudowy musi być ona świetnie chłodzona i nawet nie wiem czy tutaj zwykła obudowa wystarczy.

[dejmien25]

Ja pier** tyle się rozpisałem i nie dodało mi posta... no nic napisze jeszcze raz w skrócie:

Ja mam tylko zrobić kosztorys budowy takiego klastra który będzie zawierał podzespoły i opis tego klastra, tylko niestety jest to trochę trudne bo nauczyciel przydzielił mi dość mały budżet.

1. Takie klaster można zrobić na jednej płycie główne? Jeśli bym chciał zastosować 2 płyty główne to jak je połączyć?
2. Kwestia oprogramowania, czytałem że na windowsa jest to cholernie drogie nie wiem jak z linuxem, szkoda że MOXIS to przeżytek bo był za darmo.
3. Myślę nad dwiema kartami graficznymi Hewlett-Packard NVIDIA Quadro 2000 1GB na 3 karty graficzne raczej nie starczy mi funduszu... ta karta wspiera technologie CUDA więc będzie ok.
4. Procesor wystarczy chyba jeden: Intel Xeon® Processor E3-1230V2 [8M Cache, 3.30 GHz]
5. Nie mam pojęcie jakiej płyty lub płyt głównych użyć... koniecznie musi ona obsługiwać RAID.
6. Pamięć RAM jest chyba najmniej ważna prawda? Wystarczy jak wpakuję jedną kostkę?

[TQM]

Zatwierdzilem wczesniejszy post bo soft forum uznal za spam :-) w sumie pierwszy raz mi zadzialalo zatwierdzanie postow hahaha - nice!

1. Na jednej plycie glownej to nie cluster... z definicji cluster to minimum 2 maszyny a najczesciej znacznie wiecej
2. Mosix byl za darmo i dzialal cudownie wrecz ale mosix to tylko wspiera odpalanie aplikacji na wiecej niz 1 maszynie, przesyla parametry i dane do obrobki na inna maszyne i pozniej zbiera wyniki... np generowanie fraktali na clustrze z 2 identycznych maszyn trwalo prawie polowe czasu pod mosixem w porownaniu do pojedynczej maszyny, to samo przy kompilacji kernela linuxowego - dodanie drugiego serwera skrocilo czas o okolo 40-45%. Pytanie czy to zadziala tak samo w przypadku aplikacji liczacych na GPU? Mosix o ile pamietam przesyla apke i dane i druga maszyna w clustrze ma identyczne karty to powinno zadzialac
3. NVidia Quadro - szalenstwa nie bedzie od razu mowie
4. Xeon E3 sa 4-rdzeniowe wiec na luzie i to z ogromnym zapasem przy tych kartach
5. mnie nie pytaj, ja w sprzecie nie grzebie od jakichs 10 lat ;-)
6. RAM tez musi byc rozsadnej jakosci ale Ciebei najbardziej interesuje GPU...

Co do HDD to nie ma sensu bawic sie w macierze dyskowe - glowny element Twojego clustra to karty graficzne, wiec cokolwiek aby OS odpalil, moze byc nawet Linux na pen-drive'a zainstalowany jesli plyta glowna da rade z tego odpalic. Daj po prostu jakis maly dysk 7200rpm i po sprawie, no chyba ze na tym GPU bedziesz mielil jakies dane ktore trzeba odczytac/zapisac gdzies, to Twoim problemem nie bedzie wydajnosc GPU tylko sieci i dyskow bo nagle z problemu "compute-intensive" problem zmienia sie w "I/O-intensive" a tu to juz zupelnie inna kategoria rozwiazan wchodzi w gre.

Swego czasu zbudowalem kilka clustrow do roznych zadan wiec wiem gdzie najczesciej sa problemy i przy jakim typie zadan, zwlaszcza robiac to niskim kosztem.

To moze powiedz dla kompletu jeszcze jaki rodzaj obliczen bedzie na tym GPU lecial...

[dejmien25]

Ok czyli klaster będzie się składał z dwóch komputerów.

1. Jaką technologię najlepiej użyć do stworzenia klastra? Chyba najlepszym wyborem będzie użycie Ethernet... tylko pozostaje jeszcze kwestia oprogramowania. Na widnows wychodzi zbyt drogo... a co powiesz o PelicanHPC?

2.Test Xilence Interceptor Pro - Obudowa mieszcząca dwa komputery | PurePC.pl taka obudowa będzie chyba idealna prawda?

3. Z karty grafczinej najodpowiedniejsza będzie chyba najtańsza tesla NVIDI Pny technologies PNY Tesla C1060 PCI-E2 • www.domomarket.pl

Tak więc to już wychodzi 6563 zł za dwie karty graficzne i obudowę.

4. Czy procesor musi być na obydwu komputerach? Czy wystarczy jak tylko na jednym będzie?
5. Co do HDD to nauczyciel mi ,,podpowiedział"" że będę musiał zastosować dysk RAID.
6. Ogólnie to ma to być klaster do domowego użytku tak więc kompilowanie dużych programów, obróbka zdjęć filmów itp.

[ocb]

4. Czy procesor musi być na obydwu komputerach? Czy wystarczy jak tylko na jednym będzie?
5. Co do HDD to nauczyciel mi ,,podpowiedział"" że będę musiał zastosować dysk RAID.
6. Ogólnie to ma to być klaster do domowego użytku tak więc kompilowanie dużych programów, obróbka zdjęć filmów itp.

Nie miałem do czynienia z klastrami ale wiedza z UTK jaką posiadam nasuwa mi wniosek że coś tu jest nie tak... i tak z definicji klastra, nawet jeśli da się to zrobić na jednym procesorze to nie będzie klaster. Po co RAID w klastrze? może tak na prawdę nie potrzebujesz klastra tylko dobry komputer do obróbki grafiki z raid'em by przyspieszyć odczyt/zapis danych na dysku? Mam znajomego który kreci wesela w full HD i obrabia je na jednym bardzo wydajnym komputerze. Zastosowanie raid0 o ile dobrze pamiętam w tym przypadku jest zrozumiałe.
Do domowego użytku wystarczy bardzo mocny komputer. A jak robić klaster to robić klaster a nie...

[TQM]

1. nie znam
2. wez 2 tansze a skup sie na zasilaczu ktory tam wsadzisz
3. szalenstwa nie bedzie, sa mocniejsze karty ale rozumiem ze tu cena dyktuje
4. oczywiscie ze tak... jak niby plyta glowna bez procesora, ram i dysku ruszy?
5. gowno prawda... jak RAID to raczej macierz dyskowa poza serwerami a nie w jednym z nich bo drugi bedzie kulal z dostepem i diabli wezma wydajnosc jesli to bedziesz ciagnal po sieci
6. kompilacja programow - nie widze tego bo to sie robi na cpu a nie na gpu; obrobka zdjec - system czeka na input od usera a nie na wolne zasoby procesora... chyba ze mowisz o generowaniu obrazow 3D a nie obrobce zdjec to juz predzej; obrobka filmikow - jak ze zdjeciami i do tego wymaga bardzo szybkich dyskow wiec w sumie cholernie szybkiej macierzy dyskowej dostepnej po sieci albo jakos jeszcze szybciej (np interfejsy FC - swiatlowodami podpinasz macierz [z raid] do komputera przez specjalne karty) - zapomnij ze zmiescisz sie w 10tys zlociszy...

Jak ostatnio kupowalem takie dosc proste macierze iSCSI (dzialaja po TCP/IP a nie swiatlowodach) to za 2TB placilem okolo 15-18tys zl bez dyskow i to bylo tanio. Zakup tych swiatlowodowych to bylo ok 100tys zl za sztuke, do tego dyski FC, switch swiatlowodowy nie pamietam ile, karty do serwerow po chyba 5tys zl. To ceny firmowego sprzetu, mozna pokombinowac nieco taniej samemu ale efekty sa bardzo rozne, kiedys probowalem - nie oplacilo sie.

Jesli musisz miec RAID to i tak stawiam ze Twoim glownym ograniczeniem bedzie przesyl danych/dostep do dysku po sieci. Wlasnie wszedles w zakres problemow I/O-intensive jak na moj gust.

W takiej sytuacji biez 1 komputer, wsadz tam 2 solidne karty graficzne i podepnij kilka dyskow, RAID mozesz zrobic w software jesli plyta glowna nie obsluguje sama z siebie i tego sie trzymaj, nie rob clustra bo nie zyskasz tak wiele jak myslisz ze wzgledu na I/O dyskow.