Azure & Datacenter

En løsning, der holder vand

Det er de færreste serverrum, som hvert år skal behandle – og opbevare – adskillige petabytes data. Ny data, vel at mærke. Det er også de færreste serverrum, hvor der direkte er menneskeliv på spil. Sådan forholder det sig ikke desto mindre hos Aarhus Universitets GenomeDK, hvis nyeste udvidelse sætter nye standarder på HPC-feltet herhjemme. En installation med et nyt vandkølingssystem, som både skåner miljøet og rækker ud i fremtiden.

Skrevet december 2023

At High-performance Computing-udviklingen går rasende stærkt, lyder næsten som en dårlig it-joke. Hvad der foregår i de enorme chassiser, er for de fleste af os svært at begribe – her gradbøjer man velkendte definitioner som tid, kapacitet og performance i ekstrem grad. Men dét til trods, så er der også på HPC-feltet et udviklingskapløb, som det er tilfældet ved alle andre teknologier. De enorme kræfter, som er på spil i HPC, kan skabe store, ja endda kritisk værdifulde resultater – til gavn for os alle. Derfor er det også en stor fornøjelse at kunne dele historien om det aarhusianske HPC-eventyr hos GenomeDK, som tilbyder lager og regnekraft til danske sygehuse og til livsvigtig forskning. Med en helt ny, state-of-the-art HPC-installation fra Lenovo har teamet i det aarhusianske serverrum aktivt skubbet på udviklingen. Og vi har været med hele vejen.

Et globalt forgangsprojekt

”Én ting er selve teknologien – men patienterne og forskningen, de er sagens kerne”, indleder Dan Søndergaard, HPC Chefkonsulent hos GenomeDK. ”Vi lever af at levere beregnings- og lagerkapacitet primært til forskere og hospitaler. Vi favner bredt, men vores speciale er indenfor de datatunge områder og særligt life sciences. Det hele handler om data – både opbevaring og beregning på data”, siger han og fortsætter: ”Vi er 11 år gamle nu, og kom ret hurtigt ind i forskning, og omkring 2015 startede vi op på det kliniske. På dét tidspunkt var vi et forgangsprojekt for denne type samarbejde i Norden – og er det stadig. Vi dækker hele landet og har nu over 700 brugere, som tilgår og deler vores ressourcer på sikker vis. Vi har et fast samarbejde med AU og Region Midtjylland omkring klinisk forskning, men også decideret produktion. Det betyder, at de hver dag kører patientdata igennem GenomeDK, hvilket naturligvis stiller store krav til både data- og driftssikkerhed”.

Et skridt ind i fremtiden

Dan og GenomeDK’s arbejde i serverrummet har med andre ord en stor betydning for os alle. Vores egen nøglesætning i edgemo, det handler ikke om it, kan tages helt bogstaveligt hér. Med dét sagt, så er vi nødt til at tage et kig bag facaden for at begribe perspektiverne og mulighederne med GenomeDK’s nye Lenovo-installation. ”Vi udvider hele tiden vores kapacitet for at leve op til brugernes behov. Den store stigning i behovet for regnekraft betyder dog, at vi bliver udfordret på fysisk plads i serverrummet. Her kommer denne meget dense installation ind og gør en forskel” fortæller Dan Søndergaard. ”For det første fremtidssikrer den os – med dette indkøb alene har vi firedoblet vores nuværende kapacitet og er forberedt helt op til seks gange. Vi har købt ét rack og én CDU, en Cooling Distribution Unit, og kombinationen af den ekstremt kompakte hardware og den store kølekapacitet i CDU’en betyder, at vi kan udvide langt ud i fremtiden”.

Karl Hansen, HPC og AI Salgschef hos Lenovo, er ikke i tvivl om, at Dan og GenomeDK’s valg af system har et stort potentiale: ”De har taget skridtet videre med den teknologi, de har valgt her. Dan og co. har været fremsynede og har fremtidssikret deres installation”, siger han og supplerer: ”Det særlige er investeringen i en CDU, i vanddistributionen. Det giver en række fordele – for eksempel er der ingen blæsere i noderne, og allerede her spares op mod 20 % af strømforbruget, og så er der effektiviteten ved at vandkøle frem for luftkøle udstyret, for GenomeDK har valgt en såkaldt DWC-løsning; Direct Water Cooled. Her køler vand alle komponenterne og det fylder en brøkdel af en luftkølet løsning.”, lyder det.

Specifikation

60 Lenovo thinksystem vandkølet SD665 noder

Hver node har 2 x AMD Genoa 9654 CPU med 96 kerner = 11520 cpu kerner i alt

Der er 8 gb ram pr core i alt 92,16 terabyte ram

Koblet sammen med 200gbps Infiniband netværk

Alt leveret i ét 42U rack skab

FS600 CDU’en kan levere op til 600kW køling og leveres med intern manifold der tillader tilslutning af op til 6 racks

Grønnere it?

I udgangspunktet er it meget lidt grønt. Det må vi som samlet branche erkende, men desto mere grund til at sætte ind, hvor vi kan. Og det er også tilfældet med både GenomeDK og Lenovo. ”I gamle dage brugte et rack-skab måske 5 kW – i dag 80 kW eller mere, og derfor er der et stort fokus på at nedbringe forbruget”, slår Karl Hansen fast. Et faktum, som Dan og GenomeDK kan nikke genkendende til: ”Takket være et kæmpe forarbejde i vores team og hos vores facility management, kunne vi sikre, at der var vand og strøm nok til rådighed. Det er en meget stor kapacitet”, fortæller han og tilføjer, ”Vores rum forbruger jo rigtig meget strøm, og derfor gør vi også alt det, vi rent faktisk kan for at minimere energiforbruget. Med denne installation kan vi levere en meget stor mængde kapacitet med et rimeligt forbrug af energi”.

Karl Hansen fra Lenovo stemmer i: ”Med Lenovo Neptune, som denne teknologi hedder, består gevinsten af flere ting. Bedre udnyttelse af energien og bedre ydelse fra løsningen, konsolideret drift med besparelser på strøm – og strøm er i dag en væsentlig udgift. Et eksempel: Hvis man køber et HPC-cluster for 30 mio., så koster det ca. 15 mio. at forsyne det med strøm i dets levetid”.

Småt er godt

I en tid, hvor mange ting ikke kan blive store nok, så går HPC-udviklingen lidt den modsatte vej. Bevares, som det også ses på billederne til denne historie, så er GenomeDK’s Lenovo-installation alt andet end lille. Men i HPC-målestok er den ganske beskeden – og dét er en god ting, og helt bevidst. ”Vi kan ikke længere bygge kompakte noder med normale CPU’er uden vandkøling. For bare 1-2 år siden kunne vi bygge chassiser på to U, hvilket er en rack-unit på 4,5 cm med plads til 4 noder. Men den nye generation CPU’er bruger op til +500 watt og kan ikke længere køles med luft i en så kompakt enhed. Det har øget pladskravet i serverrummene, og selv udgifter til kabling og netværk er udfordret. Derfor vælger Dan og GenomeDK vandkøling. På den måde kan vi stadig skabe meget kompakte og tætte infrastrukturer – og i øvrigt er det 3000 gange mere effektivt at fjerne varme med vand i forhold til luft. Det er ren fysik”, slår Karl Hansen fast.

Lang holdbarhed

Dan Søndergaard sætter ord på GenomeDK’s måde at forbruge HPC-it på. ”Vi får flere petabyte nye data ind om året, og meget af det skal per lov opbevares i 15 år. Det medfører løbende, store datamigreringer og vedligehold. Og det håndterer vi”, fortæller han. Dette peger vel i retningen ad et stort forbrug af udstyr? Men også her tænker Dan fremad: ”Vi gør det anderledes end andre HPC-anlæg. Vi har aldrig købt et anlæg og så brugt det i fem år og derefter skrottet det, for vi tror ganske enkelt ikke på den model. I stedet sikrer vi, at vi kan udvide løbende, efterhånden som kapaciteten bliver nødvendig. Ligesom med vores nye anlæg. Det betyder også, at vores mange brugere ikke oplever store ændringer eller manuelle datamigreringer – og så er det langsigtet og mere bæredygtigt, fordi kapaciteten ikke står uudnyttet”.

Varme til fremtiden?

Lang levetid på udstyr og store strømbesparelser er ikke de eneste gevinster ved vandkølet HPC: Et direkte vandkølet system kan i princippet levere returvarme direkte tilbage til fjernvarmenettet. Og dermed har Aarhus Universitet og GenomeDK endnu en mulighed at opdyrke i fremtiden. En mulighed for at genanvende al strøm-varme direkte til opvarmning af vand og bygninger.

Vækker allerede opsigt

I edgemo og Danoffice IT-organisationen er GenomeDK’s sag ganske særlig. Dels grundet dens tekniske beskaffenhed, dels grundet det værdifulde udbytte af GenomeDK – men også grundet samarbejdets karaktér. ”Vandkølende HPC-systemer er et vigtigt fokusområde for os i Lenovo”, siger Karl Hansen. ”Vi har været på markedet med vores Neptune vandkøling i mere end 10 år, og i denne udvikling er vi meget glade for vores samarbejde med edgemo. De er vores foretrukne samarbejdspartner på HPC. Vores kontakt Palle Gram gør virkelig et godt stykke arbejde, og vi stoler på hinanden – et godt eksempel på, at mennesker handler med mennesker. Og allerede nu har det vakt opsigt, at vi har kunnet levere dette vandkølede system til Dan og GenomeDK”, lyder det fra Karl Hansen, HPC og AI Salgschef hos Lenovo.

”Et samarbejde som dette er utroligt værdifuldt. Vi lærer hele tiden en masse om de nye teknologier, som er på markedet, og de muligheder, de giver. Muligheder, som over tid bliver til løsninger, som kommer forskere og patienter til gode”, slutter Dan Fabricius Søndergaard, HPC chefkonsulent hos GenomeDK.