Disaster Recovery test met nasmaak
Deze column is verschenen op Computable.nl in het Storage topic
‘The proof of the pudding is in the eating’. Een smaakvollere omschrijving van een test is er niet. Naar aanleiding van een onderzoek en interne aanvraag hebben wij voor één van onze relaties een hersteltest uitgevoerd. Althans, wij hebben niet veel gedaan, ze konden zelf testen. Een deel van onze infrastructuur is beschikbaar gesteld en ze werden door een technisch consultant ondersteund. Een doelstelling wordt aan het begin van de week gesteld
Een goede voorbereiding is het halve werk, dus is de reguliere back-up geregeld en deze werkt over het algemeen goed.
Regelmatig worden herstelacties uitgevoerd, dus het mechanisme is beproefd. Na het plannen van een hersteltest is men vaker wat scherper met de back-up bezig dan normaal. Want met het uitvoeren van een ultieme hersteltest (andere omgeving, andere hardware, andere library) is de uitkomst onzeker. Met regelmaat valt het herstelwerk tegen. Er is meer tijd nodig dan verwacht of informatie dan wel documentatie ontbreekt. Zelden, echter, ontbreekt het enthousiasme en doorzettingsvermogen.
De routine is ondertussen bekend: tapes worden meegenomen, net als documentatie, portable hard disken en een heleboel kennis. Onze afgelopen test had een extra toevoeging: het testen van hun externe organisatie die de tapetransporten uitvoert. Via een roulatieschema worden verse tapes opgehaald en de oudbakken tapes teruggebracht. Deze kunnen weer worden gebruikt.
Via een vaste procedure: speciale koffers en cijfersloten en op vaste momenten. Een duidelijke uitwisseling van tape-labels en in een geconditioneerde wagen. Een stabiele factor in de dagelijkse tapehandelingen.
Om ook het element van tapes terugroepen te testen is in de ochtend een telefoontje gepleegd. Met een klantspecifieke code wordt de melding aangenomen en de lijst met tapes opgemaakt. En in dit geval een ander afleveradres; ons adres. Gedurende de start van de recovery test werd met regelmaat op de klok gekeken om te kijken of de tapes binnen de geplande drie uren konden worden afgeleverd.
En inderdaad! Binnen de drie uur kwam een koerier met een grote koffer. Toevallig stond ik bij onze receptie en aanschouwde het tafereel. De receptioniste belde, een medewerker van onze klant kwam aan de balie, kreeg een ijskoude koffer, gaf een krabbel en de koerier zonder geconditioneerde auto spoedde zich naar zijn volgende adres.
En daar sta je dan. De laatste volledige back-up van een organisatie in één koffer. Een cijferslot aan de buitenkant. Bijna een romantisch beeld van een gevonden schat zoals je die in avonturenfilms ziet. Het slot doorknippen en je hebt goud in handen. De gulden gegevens van een bedrijf.
We wisselden echter geen romantische blikken uit. We waren verbaasd. Met één telefoontje en een code krijg je de volledige informatie van een bedrijf aangeleverd. Op ieder willekeurig adres. Zonder controle, zonder identificatie, er wordt geen enkele hobbel gecreëerd. Zelfs bij een organisatie die SAS70 en ISO 27001 gecertificeerd is.
Het valt wel weer uit te leggen en te relativeren. 'Zonder code geen aanvraag’, ‘waarschijnlijk een incident’, ‘normaal gebeurt dit anders’ of ‘er is geen duidelijk protocol opgesteld’. Een hoop argumenten om de verbazing weg te masseren. Of om andere diensten te positioneren: doe het in onze cloud.
Maar of het adres een postcode heeft of een ip-adres, het gaat om het proces. Als je zo eenvoudig bij de gegevens kan komen terwijl je verwacht dat je blindelings op een specialist kan vertrouwen, klopt er iets niet bij het menselijke deel. Een procedure die zo solide is als een drilpudding geeft een heel vervelende nasmaak.
Nu lijkt het alsof wij het alleen maar goed doen en andere organisaties niet. Dus de eerlijkheid gebiedt mij te zeggen dat ook wij een ingrediënt waren vergeten. Met het vernieuwen van een drive was een kabel in een library vergeten. De nieuwe techniek wordt anders aangesloten. Stom, mensenwerk, deels getest maar niet alles. Dat zijn echter fysieke hobbels en die kosten tijd. Dit is geen risico waarbij bedrijfsgegevens in het geding zijn.
Beveiliging moet. Dat blijkt. Testen, testen en nog eens testen is noodzakelijk. Ook die processen en procedures waarvan je verwacht dat het goed is. Ook al vertrouw je op de specialist.
‘The proof of the pudding is in the eating’ is helaas niet gehaald. Na een aantal intensieve dagen heeft de klant kunnen ruiken aan de pudding. Er had kunnen worden hersteld, alleen de tijd was op. Er is veel geleerd en met veel bagage kunnen we ons richten op de volgende keer. Dan gaan we er vanuit dat we ons tonnetje rond kunnen eten.
En de tapes, die zijn de volgende keer beveiligd met encryptie.