Onsdag nat samt Onsdag morgen, har vi haft udfald på vores netværksinfrastruktur der driver vores storage og VMware-platforme. Som konsekvens af dette har vi haft nedsat tilgængelighed til hele den virtuelle infrastruktur i vores datacenter.

Uddybning

Fejlen er lokaliseret til 4 centrale switch-enheder der driver en stor del af vores VMware platform.

Der er opstået et loop i en del af netværket, som normalvis ville være mitigeret af de indbyggede funktioner i switchene, men i stedet for at løse problemet har disse fået switchene, der forwarder trafikken til resten af netværket, til at gå i stå.

Den helt præcise fejlkilde undersøges stadig og samtidig er der kommunikation med switchleverandøren for at undersøge hvorfor enheden ikke agerede som planlagt.

Fra afbrydelserne i nat overvågede vores teknikere netværket tæt og fejlsøgte på problematikken. Ingen af problemerne har nogen sammenhæng med det der er sket om morgenen, så vidt logs og overvågning viser os, men vi udelukker naturligvis intet endnu.

00.45 – 00.50: Kort udfald på netværks infrastruktur

04.48 – 04.53: Kort udfald på netværks infrastruktur

07.34 – 08.01: Udfald på central netværkscore, der understøtter hele vores VMware infrastruktur. Fejlen betød at intern samt ekstern trafik mellem servere stoppede med at fungere.

08.30 – 08.40: Omlægning af trafikken på shared service betød afbrydelser til enkelte services i dette tidsrum.

09.00: Al drift normal

The post Incident report 31-08-2016: Netværksudfald appeared first on Simply.com blog.

Strømafbrydelsen betød, at alle UnoEuro servere og services, var utilgængelige fra kl. 20.50 og frem. De første services kom online igen kl. 23.34, og al drift var normaliseret igen kl. 01.03.

Fejlen er blevet lokaliseret til en defekt enhed i nødstrømsgeneratoren i det panel, der bestemmer, om vores datacenter skal køre på strøm fra el-nettet eller på strøm fra generatoren selv. Normalt ved strømafbrydelser sørger denne enhed for datacentrets uafbrudte strømforsyning, ved at aktivere henholdsvis generator eller ekstern strømforsyning.

Vores UPS-anlæg nåede, inden det løb tør for batteristrøm, at udvide fejlsøgningsvinduet med 35 minutter. Normalt ville nødstrømsgeneratoren overtage driften fra UPS-anlægget i løbet af ganske kort tid, men grundet den defekte enhed skete dette desværre ikke, og datacenteret stod derfor uden strøm.

Vores teknikere var til stede i datacentret og i kontakt med leverandøren, inden UPS-anlægget løb tør for strøm. Da fejlen skete i et stærkstrømsområde, var personsikkerhedsrisikoen imidlertid for stor til, at ikke-certificerede fagpersoner måtte arbejde på anlægget, samtidig var der risiko for at fejlhåndtering af situationen kunne lede til en eksplosion i datacenteret (som de professionelle sagde), hvilket selvfølgelig ville være katastrofal.

Den præcise fejl i nødstrømsgeneratoren blev lokaliseret kl. 22.10. Efter anskaffelse af en reservedel kunne elektrikerne kl. 23.10 genetablere strømmen i datacentret. Vores teknikere gik herefter i gang med at starte alle systemerne igen.

På trods af denne yderst kritiske hændelse var al drift genetableret kl. 01:03.

Under hele forløbet har vi holdt kunder opdateret på primært Twitter og Facebook så godt vi kunne.

Vi er selvfølgelig ekstremt kede af at dette kunne ske. At stå i et datacenter uden strøm er praktisk talt vores værste mareridt. Det er en situation vi nogle gange sidder og snakker om ved frokostbordet som en “Det sker aldrig, men hvad nu hvis”-situation. Nu skete det så, og på trods af virkelig træls nedetid, er vi ekstremt stolte over at vores systemer og infrastruktur praktisk talt ‘kom op af sig selv’ da der kom strøm på igen. Det skyldes alene at vi har investeret enorme mængder penge og tid i vores systemer.

Vi håber vores kunder vil tage dette med i deres vurdering. Vi beklager.

Hændelsesforløb

20.14: UPS-anlægget aktiveres. Tilkaldevagt alarmeres.

20.25: Vores teknikere er fremme ved datacentret og inspicerer fejlen. Efter kort samråd med el-vagten tilkaldes to certificerede elektrikere.

20.50: UPS-anlægget løber tør for strøm. Datacentret er nede.

21.15: Første elektriker er fremme ved datacentret og begynder fejlsøgning. Inden for 15 minutter ankommer ekstra elektrikere, så der er 4 mand på opgaven.

21.15-22.10: Fejlsøgning af el står på.

22.10: Fejlen er lokaliseret, og elektrikere går i gang med at fremskaffe den nødvendige reservedel til dieselgeneratoren. ETA er 20 minutter, før den kan leveres onsite.

22.39: Elektrikerne går i gang med udbedre fejlen, lave kontrol-målinger og sikre korrekt procedure for at sikre færrest mulige risici ved opstart af anlæggene.

23.10: Dieselgeneratoren kobles ind, UPS-anlægget startes op igen og der er igen strøm i datacentret.

23.10: Vores teknikere starter infrastruktursystemerne i korrekt rækkefølge for at have så få problemer som muligt efterfølgende (SAN, netværk, hosts, mv.).

01.03: Al drift er genetableret

Spørgsmål

Er jeres setup ikke redundant?

Jo, til et vist punkt. Vi har redundante internetforbindelser, redundante UPS, redundante strømforsygninger i serverne, og vi har offsite backup af vores data. Det eneste vi ikke har redundant er vores nødstrømsgenerator. Det er svært at sige om det havde gjort en forskel i den her situation, grundet omstændighederne, men det er selvfølgelig noget vi vil undersøge nærmere.

Vores navneservere er geografisk adskilt, så DNS drift har ikke været påvirket – men de web- & mailservere som DNS har peget på, har selvfølgelig været utilgængelige.

Tester man ikke sådan en nødstrømsgenerator?

Jo, det gør vi jævnligt, men den enhed som er gået i stykker har formentlig virket perfekt lige indtil den ikke gjorde, hvilket så har forsaget problemet.

Hvad med datatab?

Ingen data er gået tabt og ingen mails er ikke blevet leveret. Mails er dog selvfølgelig blevet leveret med forsinkelse.

The post Incident report 29-07-2016: Strømafbrydelse i datacenter appeared first on Simply.com blog.