Cluster med Linux og Windows

Interessant spørsmål - men et annet spørsmål som dukker naturlig opp som følge av det første det er "Hva er egentlig et cluster ?"

Det som ville være aller høyst mulig og faktisk også forholdsvis enkelt å sette opp det ville for eksempel være en slags "linux gateway" eller "felles inngang" som for eksempel kunne fordele trafikken noenlunde likt mellom 5 webservere som så sto bak denne "felles inngang". Dette støttes jo av de grunnfunsjonene som finnes i Linux kernel. Dersom det dreide seg om en databaseapplikasjon så kunne man for eksempel kjøre webserverne og databaseserverne på egne maskiner, slik at man plutselig hadde 10 maskiner bak "en felles inngang" som på et vis "samarbeider om en felles oppgave".

Videre så ville det sikkert være mulig å skifte ut de 10 Linux maskinene (minus den første felles inngang" med tilsvarende Windows maskiner.

Men er dette et kluster ?? Hvilke prinsipper skal være i bruk for at det skal dreie seg om et "cluster" ?

En annen variant, det ville jo være å faktisk ha 5 forskjellige "innganger" og fem forskjellige eksterne ip, og så bare fordele trafikken via et "dns round robin", altså der dns server fordeler trafikken etter tur.

Er da dette et "cluster". Ville egentlig ikke tro det.

Hva er egentlig et "cluster" og hvilke teknsike prinsipper skal egentlig være i bruk for at man skal kunne si at det dreier seg om et "cluster" ??

(Meget interessant problemstilling som jeg faktisk ikke vet svaret på. Tanken om å bygge "superdatamaskin" ved hjelp av PC'er til 3.000,- den er jo ganske "morsom" og ineteressant.)

Dette var jo ikke mye til tips, men forsøker å se litt rundt på nettet for å finne ut av noe.

Vet ikke om dette kan lede noe på vei:
http://www.manlug.man.ac.uk/20000916/Scali-Sept-00/sld002.htm
http://www.manlug.man.ac.uk/20000916/Scali-Sept-00/sld001.htm

Her står det faktisk litt om eksempler og hvordan man kan "bygge":
http://oscar.openclustergroup.org/tiki-list_file_gallery.php?galleryId=3

(Synes stadig det mangler et godt svar på hva "cluster" egentlig er.)

Her synes jeg det ser ut til å være noe teknisk bra:
http://h18004.www1.hp.com/solutions/enterprise/highavailability/answercenter/basics.html

http://www.scl.ameslab.gov/Projects/parallel_computing/cluster_basics.html
http://www.scl.ameslab.gov/Projects/parallel_computing/para_intro.html

http://www.scl.ameslab.gov/Projects/parallel_computing/cluster_examples.html#alice

http://www.beedub.com/clusterfs.html

Mer bra tech info fra HP:
http://h18004.www1.hp.com/solutions/enterprise/highavailability/answercenter/basics.html

http://www.penguincomputing.com/products/clusters/overview.php

Så manglet man vel bare 40-50 PC:
http://www.mcsr.olemiss.edu/bookshelf/articles/how_to_build_a_cluster.html

http://www.astro.princeton.edu/cgi-bin/FAQ?amp=&file=84

Med den definisjonen som brukes her så er det vel klart at Linux kan sitte "in front" og fordele arbeidsoppgaver til bakenforliggende Windows servere (?!)

http://www.astro.princeton.edu/cgi-bin/FAQ?amp=&file=83

Og litt fra Oracle:
http://www.oracle.com/technology/documentation/failsafe/doc_library/331/qt/int2_01.htm

http://www.oracle.com/technology/tech/linux/htdocs/ocfs_faq_031103.html

http://www.aspsys.com/clusters/overview/

Ut i fra denne definisjonen av "cluster" som er hentet fra den siste linken, så er det vel mulig å bruke Linux til å styre og fordele trafikken mellom forskjellige "nodes" enten de er av type Linux eller Windows:

"Combination HA and Load Balancing clusters combine features of both of these cluster types, increasing both the availability and scalability of services and resources. This type of cluster setup is commonly used for web, mail, news or FTP servers."

http://www.oscer.ou.edu/NCSIOU2004/ncsiou2004_cluster.ppt

Her beskrives også prinsippet om en frontend node som fordeler arbeidsoppgavene til en serie bakenforliggende "cluster nodes". (Presentasjonen er ganske stor og laster langsomt.)

http://www.pragma-grid.net/Presentations/UCSD/Katz%20Bruno%20Papadopoulos/1

Rettelse:
http://www.pragma-grid.net/Presentations/UCSD/Katz%20Bruno%20Papadopoulos/wed.ppt

Lik en av dem over, men kanskje litt bedre "design"/"lesbarhet"
http://www.oscer.ou.edu/NCSIOU2004/ncsiou2004_cluster.pdf

Det jeg gerne vil, det er at jeg på min windows maskine udnytter mine "slave" computere's CPU'er... Dvs. at jeg starter fx 3 programmer på min "master" og så er der en linux maskine der laver load balancing så hvert program bruger forskellige CPU'er...

Komplisert teori på en meget bra måte !
http://www.clusterworld.com/article.pl?sid=04/05/27/2154221&mode=thread&tid=10

Så ikke ditt siste .. Jo den problemstillingen er nok riktig og relevant, men kanskje ikke så lett å få til. Det som egentlig står i den siste artikkelen, rett over, det er "Kan gå, men da må programmet være laget for dette", man kan ikke få et program som er skrevet for en enkelt maskin til å bli utført på en fornuftig måte i et "cluster". Problemet er slik som jeg forstår det å få til det rette samspillet mellom de forskjellige programelementene.

Dersom det er snakk om å dele opp prosessene på en "grov måte" for eksempel flere webservere mot hver sin databaseserver, så kan dette saktens la seg gjøre på en enkel måte, for eksempel via en Linux frontnode som fordeler mellom "baknoder" som kan være Linux eller Windows.

Mener at alle de linken som står over kan sammenfattes i det enkle prinsipp, at dersom man skal få til et mere detaljert og finmasket samarbeide mellom datamaskiner og datamaskinprosesser (multiprosessing/parallellprosessing) så kan bare dette skje dersom man har tilgjengelig programvare som er skrevet spesielt for dette.

Man kan ikke endre noe på dette ved å plassere en Linux frontnode forran et antall Windows eller Linux. Hvis programmet er skrevet for å skulle eksekveres på en enkelt maskin, så eksekveres det på en enkelt maskin. Ingen Linux frontnode kan gjøre noe med dette.

Denne ene linken synes jeg på mange måter gir summen av det hele når det gjelder prinsippene for clustering i betydningen "parallellprosessing". Tar den derfor med en gang til:
http://www.clusterworld.com/article.pl?sid=04/05/27/2154221&mode=thread&tid=10

Svar. (Håper det ikke ble for mye, har lurt litt selv på de samme spørsmål uten å vite svaret :)

Hvis du ellers har noen spørsmål til de linkene som ligger over, så kan jeg forsøke å forklare i den grad jeg skjønner noe av det selv :)

Tak for mange gode links...

Men du har ikke fundet en konkret "tutorial" om emnet, vel? Hvis du ligger inde med en, må du godt poste den... ;)

Takker for points. En del av Linkene er jo nærmest en slags "how-to" for hvordan dette skal gjøres. For eksempel:

http://www.mcsr.olemiss.edu/bookshelf/articles/how_to_build_a_cluster.html

Alle disse linkene omhandler jo "clusters" ut i fra en betydning 40-50 PC koplet sammen.

Det er klart at det også hadde gått ann å lage en veldig liten labotatoriemodell, for eksempel 1 inngangsnode og 2 "clusternoder" der man kunne prøve ut prinsippene.

Jeg tror at dersom man i begrepet "cluster" legger den betydning at det skal dreie seg om "paralellprosessing" og pragrammer som utføres/eksekveres på flere PC samtidig så dreier det seg om et vanskelighetsnivå som ligger over det man kan regne med å få til i et hjemme PC miljø. Tror man er nesten avhengig av å være en gruppe mennesker som jobber med dette på heltid (??!)

Hvis man legger en litt videre betydning i begrepet "cluster" og man sier at for eksempel en gateway som fordeler trafikken mellom to web servere, så er det klart at dette er noe man kan få til. Satte for eksmpel opp som test en Mandrake og en Redhat server slik at de svarte på requester utenfra annenhver gang. Videre så kan man for eksempel eksperimentere med å kjøre en SQL server på den ene pc og Web server på den annen.

Denne setningen i et iptables script vil for eksempel fordele trafikken mellom 2 stk webservere via en felles gateway (Cluster light,light, firewallgateway pluss 2 web servere.)

iptables -t nat -A PREROUTING -i eth0 -p tcp -d <ekstern ip> --dport 80 -j DNAT --to-destination 10.0.0.10-10.0.0.11

Hvis man ellers skal teste "virkelig" clustering på enkleste måte, så så jeg på noe Microsoft dokumentesjon i dag. Dersom man installerer Windows 2000 advanced server eller 2000 server datacenter edition, så skal det finnes "klikk deg fram" funksjoner for å få to eller flere maskiner til å kjøre som Kluster. Det sto ikke noe om hvor man kan få tak i programmer som virker på "rett måte" i forhold til et cluster. Vil tro at det finnes 3 mnd gratis evalueringslisenser.

undskyld den lange pause... skulle lige holde fødselsdag med tilhørende besøg hos de gamle ;-)

Jeg har kigget lidt på Win2k3 Server, og har set at der er mulighed for cluster... men der skal man åbenbart have to FULDSTÆNDIG identiske maskiner... dette har jeg ikke... det jeg har er 5-6 forskellige computere...

Samme her .. en haug med gamle deler som snart er satt sammen på den ene måte og så på den annen .. :)

Ville vel tro at det er en viss mulighet for variasjon mht hardware men at Software både må være lik og laget for oppgaven. (Med mindre at man godtar en såpass "bred" definisjon at loadshare for et par web servere kan gjelde som "clustering")