Det perfekte angreb

Skrevet november 2019

DISCLAIMER: Dette er ikke en klassisk it-case om succes og tekniske fortræffeligheder. Vi vil i stedet fortælle dig en historie med  anekdoter og iagttagelser fra et af de mest succesfulde cyberangreb i nyere tid. Uden journalistiske mellemled og distancerede eksperter. Historien er ikke fortalt af dem, det gjorde ondt på, men af dem, som skulle rydde op og slå angrebet ned. Kom med bag murene, oplev et war room og hør, hvor ondt det gør. Velkommen til historien, som alle ville ønske, ikke fandtes.
Billederne i historien er ikke taget i forbindelse med den aktuelle virksomhed og angrebet.

Få adgang til edgemo's 10 bedste råd, tanker og erfaringer fra angreb i bunden af siden.

Truslen udefra

Cyberangreb er blevet en del af vores verden, og i dag kalkulerer alle virksomheder – og deres it-afdelinger – med et konstant trusselsbillede. De seneste 4-5 år har alverdens it-medier højfrekvent bragt historier om alle tænkelige former for cyberangreb. Det har ikke skortet på råd og vejledning om, hvordan man skal forholde sig. I edgemo har vi heller ikke holdt os tilbage. Men vi må anno 2019 tørt konstatere, at i alle lag af erhvervslivet – øst-vest, små, store, større og selv hos de allerstørste, mangler mange stadig både beredskab og midler til at svare på trusselsbilledet. Et kedeligt faktum, vi vender tilbage til senere i denne fortælling. Først skal vi ud og bekæmpe russere – og reparere tusindevis af servere. Ved håndkraft.

”Jeg vil have mit datacenter tilbage”

Vi skruer tiden tilbage til maj. Eller lørdagen før pinse, som Torben Christensen præcist angiver det. Måske fordi de følgende begivenheder skulle vende op og ned på en ellers velfortjent og -planlagt pinseferie og en rum tid derefter. ”Jeg bliver ringet op sidst på eftermiddagen. Det var deres datacenterdirektør, som informerede, at de var blevet lagt ned af ransomware, og nu ville han have sit datacenter tilbage. Han lød helt utrolig træt”.

Kunden, en stor, global koncern, var ikke bare blevet lagt ned lokalt i Europa, hvor han ringede fra, men over hele verden. Over 400 lokationer, over 40 lande, over 45.000 klienter - alt. Torben fortæller: ”Da han ringede, var der gået en lille uge siden selve angrebet. De havde først prøvet et par meget store udenlandske konsulenthuse, som var tættere på, men uden held. Derefter havde de kæmpet selv, men havde nu givet op. Man vil gerne selv – men det KAN man ikke. Ikke når man står med det, de oplevede her. Det var et ufatteligt succesfuldt angreb”.

Code Red: Specialstyrker sættes ind

Torben fortæller, at edgemo ikke før havde solgt konsulentydelser til kunden. ”Vi havde solgt massivt med hardware til dem, men det skulle ændre sig temmelig markant”, siger han og fortsætter: ”Jeg får ikke meget at vide. Blot at jeg skal samle et hold. Så lørdag aften ringer jeg rundt, og omkring midnat har vi specialstyrkerne klar. Søndag morgen tidlig var der konference på Skype. Det hele går meget stærkt, og det besluttes, at vi sender første hold afsted til lokationen med det samme. Allerede mandag morgen sender vi det næste hold afsted”.

”Da telefonen ringede, stod jeg til en Phil Collins-koncert, og det første, jeg sagde til Torben, var, at jeg jo ikke syntes, at jeg vidste en masse om ransomware”, husker Infrastructure Specialist Kåre Overgård. ”Men Torben holdt fast og sagde; Vi skal sende folk ind, som kan en masse. Vi skal være både dybe og brede, vi skal kunne stille med en komplet ekspertise. Vi ved ikke, hvad de har brug for”.

”Vi havde meget forskellige baggrunde, så vi fordelte let opgaverne imellem os, og det var de meget imponerede over. Vi satte bare i gang. Vi leverede hurtigt tilbage til dem. Vi traf beslutninger selv – og vi stod ved dem. Det er det vigtigste for virksomheden i sådan en situation - de har ikke tid til at holde folk i hånden”.

Ikke af denne verden

Angrebets karakter, omfang og succes blev understreget af det, der mødte edgemo-folket. ”Det, vi kom ned til, var ikke af denne verden”, siger Torben. ”Det var voldsomt kaos. Det lignede en skyttegrav – hvilket det også var. Folk havde ikke sovet hjemme længe. Der var folk i soveposer, og der lugtede af sved og stressede mennesker. Folk var zombier, men glade for at se os”. Infrastructure Specialist Alex Sørensen, som også var med i første bølge, fortæller. ”Normalt er kundens store domicil et sted med vagter, parkeringsvagter og alverden. Men nu var parkeringsholdet sendt hjem, så hjælpen kunne komme til”.

Alex fortæller, at domicilets store kantine var lukket. ”Den lokale asiatiske grillbar havde kronede dage – og kontoret flød med emballage. Det var heftigt. Kantinen åbnede heldigvis efter nogen tid”, siger han og deler en episode, som understreger det desperate behov for hjælp. ”Vi var på vej til frokost og kunne pludselig se et hold på seks mand fra Portugal på vej henover parkeringspladsen med kufferter og det hele. De var på vej mod flyet. De blev MEGET hurtigt løbet op og standset. De var der også efter frokost – et godt stykke frem i tid”.

Serious Business

Den ansvarlige russiske ”milits” mente serious business. Angrebet var så succesfuldt, at det må løbe enhver it-chef koldt ned ad ryggen. Som tidligere it-direktør er det noget, Torben Christensen kan sætte sig ind i: ”HELE koncernen var lagt ned verden over. Backup-serverne var krypterede, så de kunne ikke lave en restore af data – og de havde intet Active Directory”, fortæller han. ”Intet AD kørte noget som helst sted i verden, og alene i det datacenter, vi var i, skulle over 7.000 servere genetableres manuelt. Selvom 80% var virtuelle, var der ingen backups, så alt skulle håndinstalleres”. 

Alex uddyber: ”Der var ikke backup af alle servere, men dog en del. Desværre tog de på mange systemer kun backup af data, men ikke af styresystem og applikation, hvorfor alt skulle håndinstalleres. Jeg tror det overraskede mange, at der var systemer, hvor backup var aktivt fravalgt. Dyre lærepenge, må man sige”. Kåre supplerer: ”Alt var blevet slukket, så én efter én skulle vi tænde serverne i offline tilstand og tjekke, om de var inficerede, og derefter genopbygge. Det var et kæmpe arbejde”. Men det var bare dét datacenter, som edgemo blev placeret i. På et andet kontinent var et datacenter af tilsvarende størrelse. I alt taler vi over 40 lande, hvor ikke én eneste pc, kunne køre. Over 45.000 mennesker var arbejdsløse verden over. Formuer fossede ud i den blå luft hvert minut. I ugevis.

Om stemningen i virksomheden fortæller Torben. ”Alle er ramt. Arbejdet stopper totalt. Almen panik breder sig, og support-systemet bryder hurtigt sammen. Hvilket er en succes for angriberne. Det er næsten umuligt at køre manuelle processer – ALT i denne store koncern er styret af it. Det eneste, de kan, er at åbne portene og tage imod varer. Så i meget begrænset omfang kan de køre lidt forskellige processer manuelt”, fortæller han. ”Den umiddelbare konsekvens: Utrolige mængder af ansatte sendes hjem i lang tid. Mange, mange tusinde. I mange uger. Det gør helt utroligt ondt på økonomien – også på dem, som var derhjemme, for der kunne ikke køres løn”.

”Og når man så tænker, at de selv kunne have bremset omfanget i meget stor grad, så er det bare næsten ikke til at holde ud at tænke på…”.

Undtagelsestilstand – med edgemo i et war room

Tilbage på lokationen i maj 2019. ”Vi dumpede ned i en kæmpemæssig infrastruktur, som vi ikke kendte noget til. Herfra tog vi alle opgaver, som blev sendt i vores retning, og vi stillede ikke spørgsmål” siger Torben, og Alex Sørensen supplerer: ”Som edgemo-specialister er vi vant til at styre slaget. Det gør vi hver dag. Men her skulle vi indledningsvist bare agere ud fra deres beslutninger - det var meget specielt. Men vi fik mange opgaver, og vi erfarede hurtigt, at deres koordinering var ikke-eksisterende. Ingen delte noget. Vi begyndte derfor at dele mellem hinanden og ikke mindst at dokumentere vores processer. Ingen på lokationen havde et værktøj, så det byggede vi op. Og det opdagede kunden og de mange andre udefra, som var indkaldt til at hjælpe. De kiggede os derfor over skuldrene, og brugte vores værktøj og al vores dokumentation. Så slap de for at starte forfra hver gang – og for at seks mand sad og lavede det samme. Vi fik styr på mange ting”.

Torben supplerer: ”For både os, og de hjælpende styrker fra Portugal, Tyskland og andre steder gjaldt det, at folk kom i gear. Nørder blomstrer virkelig, når de kan være en central del af et war room. Det var utroligt inspirerende at opleve”.

Når alt er kritisk

Før vi endelig lader dig vide, hvordan kunden kunne have begrænset skaden selv, så lige en sidste optegnelse: Hvad betegner et godt angreb? Rå vold eller finesse og strategi? Vores modpart i denne sag havde ikke spillet meget Stratego som børn, men antageligt tævet en masse i skolegården, så vi sparer selvsagt på roserne i deres retning. Men uanset metoden, så skal man – for at forstå deres kæmpe succes med angebet – se på den ramte virksomhed udefra. Se på sammenhængene, da de optegner det samlede omfang.

Vi har nemlig at gøre med en koncern, som er en del af en global megasektor. En global, kritisk nøglespiller med aldeles tidskritiske leverancer ind i forsyningskæderne i denne megasektor, som igen består af flere sammenhængende erhvervs- og samfundssektorer. Går denne ene spiller i stå, så rammer det alle, for der er menneskeliv med i ligningen. Så angrebet handler pudselig ikke ”bare” om stressramte ansatte og en massiv mørk plet på det næste årsregnskab – det rækker langt længere ud i verden.

Der burde derfor stå med store usynlige bogstaver i luften: SIKKERHED ER ALT. Men virkeligheden ville noget andet, desværre. Og det tydeliggør desværre også det kæmpestore paradoks, at årsagen til angrebets omfang - desværre – lå hos kunden selv.

- Bøllerne havde slet ikke fortjent den succes, de fik.

”En ekstrem no-brainer”!

Selvom vi taler om en veldrevet it-organisation i en ditto veldrevet global koncern, så var der huller i sikkerheden. Og ifølge vores tre musketerer, så var der tale om klassiske faldgruber, som mange – alt for mange – dumper i. Hvilket også er årsagen til, at denne historie bliver fortalt.

Torben lægger hårdt ud. ”Lad mig starte med at slå fast: Ét flueben kunne have afværget 80-90% af omfanget af dette angreb”, konstaterer han. ”Man skal spørge sig selv: Har vi aktiveret LAPS (Local Administrator Protection Solution)? Her bliver alle lokale administrator-passwords randomiseret, og det kræver umiddelbart bare et enkelt flueben. Det er en ekstrem no-brainer. Det er så meget en no-brainer, at vi faktisk ikke spørger folk, om de har LAPS i dag – det svarer til at spørge, om du har passwords på”. Torben tilføjer, at hvis du har det samme administrator-password på alle dine maskiner i din organisation, så svarer det også til ikke at have et password overhovedet. Det var tilfældet her.

Kåre Overgård stemmer i: ”De havde faktisk nogle dyre og flotte sikkerhedstiltag højt oppe i systemet, men siden det basale var mangelfuldt, var de ret ligegyldige. Så selvom de var der, så fløj den her ransomware bare nedefra og direkte op igennem og satte ild til alt på vejen. Basics er alt, når man designer sit sikkerheds-setup”, siger Kåre og fortæller, at de hjalp en ansat, som ikke havde skiftet password i 12 år.

”Nu kom det her angreb indefra, men jeg er nødt til at tilføje, at den indbyggende Windows Firewall og UAC ydermere var slået fra her. Selvom den er bøvlet at arbejde med, så er den der jo af en grund”.

Den skandinaviske redning

Men hvad så? Klarede de den? Ja, historien er selvfølgelig, at de fik nedkæmpet angrebet. Efter et par måneder, forstås.

Den lykkelige slutning vil nemlig, at den førnævnte, meget kloge datacenterdirektør kom til at spille en meget central rolle. Han havde nemlig en domain controller stående et sted i Skandinavien – helt offline. ”Herfra kunne de trække hele deres AD-skema fra. Punkt ét herfra var at reetablere deres AD. Det klarede de – og herfra var det bare hårdt arbejde”, siger Torben. ”På et tidspunkt fandt de en kode-rest i systemet på omkring 2000 re-etablerede servere, som sendte dem alle tilbage til start. Så det var kapløb med tiden. Men ultimativt: Hvis de ikke havde haft denne datacenterdirektør, så havde vi i stedet brugt vores arbejde på at starte virksomhedens it helt forfra”, fortæller han.

Hav styr på dine processer – og din backup

Organisationer, store som små, har brug for et beredskab med procedurer til både daglig drift og kriser – og som Alex formulerer det. Det kræves i dag, at man har en parathed til at handle. ”De var slet ikke klar til at genopbygge ting i dette omfang. Til deres ros, så havde de faktisk en ”fabrik” til at bygge servere på. Men da der pludselig skulle bygges rigtig mange, så kunne den ikke holde til det. Den havde en masse manuelle trin, og det er fint, hvis man bygger et par stykker om ugen, men her skulle vi bygge et par tusinde om ugen”.

Kåre supplerer: ”Når vi snakker backup, så er det også meget vigtigt at have sine politikker og processer på plads. Måden, de tidligere havde kørt backup på, var at tage et snapshot én gang i døgnet. Men i sådan et angreb skal man se på, hvad der kan svare sig. Timerne fløj jo ud ad vinduerne”, fortæller han. ”De var gået i gang med at rulle tilbage til et billede, som var en uge gammelt. Mit bud er, at man kunne have sparet et par tusinde konsulenttimer ved at spole længere tilbage, fx bare otte dage, til hvor maskinerne ikke var inficerede. Så kunne man have opbygget serverne og maskinerne i bulk og have sparet dagevis arbejde og millioner af kroner”.

Man skal lære af sine fejl

Kåre fortæller om tiden efter angrebet. ”Da stormen havde lagt sig lidt, besøgte vi dem igen for at hjælpe med at køre nye passwords igennem. Også dén proces var virkelig kaos. De tog meget forhastede beslutninger. Med to dages varsel havde de fortalt 45.000 brugere, at de skulle ændre passwords. Det er ikke nødvendigt at understrege, at det var kaos – og de havde heller ikke varslet os. Faktisk gentog de successen senere endnu i forbindelse med en stor opdatering. Men det beviser bare, hvor svært det er at bryde ud af systemer og kutymer. Og denne virksomhed er slet ikke alene – vi ser desværre alt for tit, at folk tror, at alt er klappet af, når der er købt lidt værktøjer og systemer ind. Men systemerne kan ikke alt selv”.

Alex supplerer: ”Det er alfa og omega at have etableret en parathed til at agere. Du må ikke blive taget på blank papir. Systemerne til backup og opdateringer skal være på plads, men processer og parathed er lige så vigtigt. Ellers tager en almindelig restore-opgave - som normalt tager 40-45 minutter - i stedet 6-7 timer, som det var tilfældet her. Man skal være klar på at genskabe ALT på én gang. Hurtigt og agilt”.

Således slutter beretningen fra bagsiden af et angreb af de helt store. Vi har fortalt det, vi må og kan. Kunden ved, at historien er produceret. Anonymiseringen spiller dog ingen rolle, når det handler om, at vi alle skal blive klogere. Eksemplerne kunne være hvor som helst fra. Faldgruberne er velkendte og situationerne repræsentative for, hvad man kan komme ud for. Alle kan genkende følelsen af at være slået tilbage til nul. Eller endnu længere bagud.