Ang. driftproblem d. 21 oktober

UnoEuro blev fredag d. 21. oktober berørt af en række uheld, hvilket desværre betød, at en stor del af vores kunder ikke kunne modtage e-mails før sidst på dagen. Vi har løbende udmeldt driftsinformation og opdateringer på hjemmesiden. Inden vi afslutter sagen, vil vi dog gerne give en opsummering på hændelsen, og prøve at forklare hvad der skete, hvordan vi nåede frem til en løsning og hvad vi vil gøre, for at sikre det ikke sker igen.

Tidligt fredag nat gik en af vores diske ned, på det disksystem (SAN) som håndterer flere af vores mail løsninger – en hændelse som absolut ikke er faretruende, da vores SAN er konfigureret til at kunne håndtere op til 4 samtidige diskfejl. I løbet af morgenen og indtil kl. 08.37 mistede vi dog yderligere 3 diske, hvilket stadig ikke var et direkte problem.

Da tabet af flere diske ville være absolut katastrofalt, stod vi på daværende tidspunkt derfor med 2 muligheder. Vi kunne lade disksystemet køre videre, og håbe på at vi ikke ville miste flere diske imens de 4 ødelagte diske blev genopbygget, hvilket ville ske over en periode på ca. 40 timer, da genopbygning i et kørende system kun vil køre med ca. 30% hastighed. Alternativt kunne vi erkende, at der var en fejl på det enkelte netværk (SAN) og derfor slukke hele systemet, hvorved en genopbygning blot vil tage 10-13 timer, da den således kan køre med 100% hastighed.

Vi tog derfor en strategisk beslutning, om at slukke for disksystemet, for at være sikre på at vores løsninger ville komme op og køre igen allerede den samme dag.

Kl. 20.30 fredag aften – ca. 11,5 timer efter at vi tog systemet ned, var det færdig med at gendanne/reparere de første diske og vi følte os derfor trygge ved at starte systemet op igen. Hele episoden har været meget beklagelig, til dels fordi at denne form for tekniske problemer normalt kun berører os internt, men specielt fordi at det denne gang ligeledes har været en meget langsommelig affære og har berørt mange af vores kunder.

Med hensyn til hvorfor problemet opstod, så var de fejlede lagerenheder/diske, blot blevet registreret som at have fejlet. Desværre viser det sig, at være et problem med operativsystemet på disksystemet, som fejlagtigt har troet at der var opstået fejl på nogle diske, mens de i realiteten intet fejlede. Vi har i samarbejde med leverandøren løst problemet og forventer derfor bestemt ikke flere problemer. Dertil har vi bestilt et nyt, større og mere avanceret SAN, som vi vil sætte i drift, når vi modtager det inden året er omme.

Til sidst vil vi gerne understrege, at vi er dybt beklagelige over hele situationen og de problemer som det har givet vores kunder. Vi agerede som vi gjorde, for at sikre vores kunders data. Vi har dog fuld forståelse for, at hele situationen har været problematisk for mange af de berørte, og undskylder naturligvis for dette.