Am Freitagmorgen, dem 2. August, der Tag vor dem Repair Café, ist mir aufgefallen, dass Zammad, unser Ticket-System nicht erreichbar war.
Ein Blick in die VM Verwaltung beim 4830.org hat gezeigt, dass die VM in einem UNKNOWN Zustand war. Grund dafür war, dass agonizer, der host in BER auf dem die VM läuft „No space left on device“ gemeldet hat.
Das habe ich @wusel gemeldet und auch recht schnell eine Rückmeldung bekommen, dass der Host aufgeräumt wurde und die hängenden VM zurückgesetzt und neu aufgesetzt wurden.
Dabei kamen nun zwei bis drei ungünstige Patzer zusammen:
- Wir haben keine Backups auf der VM eingerichtet. Dies war nur auf den VMs die in DUS liefen der Fall. Da das Sponsoring dort jedoch ausgelaufen war, habe ich im Februar bis April fast alle Services von dort auf eine einzige VM (wasdus.makerspace-gt.de) nach BER umgezogen. Auf dieser neuen VM ist kein Backup eingerichtet worden.
- Die neue VM (wasdus.makerspace-gt.de) wurde nicht persistent instanziiert. VMs, die persistent instanziiert sind, kopieren das Image, von dem aus sie erstellt werden und speichern dort auch ihre Daten. VMs, die NICHT persistent instanziiert sind, laufen mehr oder weniger im Arbeitsspeicher des Host Systems. Kommt es zu einem Fehler oder werden sie zurückgesetzt, sind die Daten weg, so bei uns geschehen.
- Ich habe bei der Auswahl des Hostsystems nicht auf den freien Speicherplatz geachtet, obwohl ich weiß, dass wir tendenziell eher etwas mehr Speicher (30-50 GB) benötigen.
Dies bedeutet, dass neben dem Zammad, auch unser Vaultwarden, unser Wiki.js und unsere Nextcloud „gestorben“ sind.
Das Zammad nutzen wir für die Organisation der Termine beim Repair Café und für den E-Mail-Verkehr.
Das Vaultwarden nutzen wir als Passwortmanager für die verschiedenen Konten, wie E-Mail, Amazon, etc.
Das Wiki.js nutzen wir als Extrakt und Übersicht der Informationen, die im Verein so anfallen.
Die Nextcloud nutzen wir für die Datei-Synchronisation zwischen den Laptops und als Terminkalender, der dann auf unserer Website angezeigt wird und der sich abonnieren lässt.
Aber es ist auch nicht alles verloren.
Von dem Zammad haben wir noch ein Backup aus dem Februar,
die Passwörter aus dem Vaultwarden konnte ich aus dem Cache der Browser Erweiterung exportieren,
die Dateien aus der Nextcloud sind noch vorhanden, sodass lediglich Benutzer und Termine neu angelegt werden müssen.
Lediglich vom Wiki.js haben wir keinerlei Daten mehr.
Ich habe bereits eine neue VM (wasber.makerspace-gt.de) auf dem Host manticore in FRA persistent aufgesetzt. Dort ist auch genügend Speicherplatz vorhanden.
Bevor die Dienste nun aber wieder in den Produktiven Betrieb gehen, wird ein Backup eingerichtet und das Restore getestet.