Degraded performance
Incident Report for MyOnlineStore
Resolved
De storing is voorbij en het platform is weer stabiel.

EN: The incident is over and the platform is stable again.
Posted Dec 21, 2022 - 16:48 CET
Update
We blijven de situatie nauwlettend in de gaten houden totdat we wat meer duidelijkheid hebben. Die duidelijkheid zal hopelijk volgen uit een eerste onderzoek met externe technische expertise in de vorm van de leverancier van de databasesoftware.

EN: We will continue to monitor the situation closely until we have a little more clarity. That clarity will hopefully follow from an initial investigation with outside technical expertise in the form of the supplier of the database software.
Posted Dec 21, 2022 - 14:51 CET
Monitoring
De restore lijkt correct te zijn uitgevoerd, en het betreffende component is weer online. Hierdoor zijn webwinkels, beheeromgevingen, Kassa Apps en API weer bereikbaar. We verwachten op dit moment wel een piek qua drukte op het platform, wat mogelijk impact heeft op de prestaties van het platform. We blijven de situatie nauwlettend in de gaten houden. Om 16.00 uur zal externe expertise aanhaken om een diepgaand onderzoek naar de oorzaak en oplossing te starten.

EN: The restore appears to have been performed correctly, and the affected component is back online. As a result, webshops, management environments, Kassa Apps and API are accessible again. We currently expect a peak in terms of traffic on the platform, which may have an impact on the performance of the platform. We continue to closely monitor the situation. At 4 p.m., external expertise will join in to start an in-depth investigation into the cause and solution.
Posted Dec 21, 2022 - 14:16 CET
Update
We zijn nog druk met de voorbereidingen en tests bezig om het platform weer online te krijgen.

EN: We are still busy preparing and testing to get the platform back online.
Posted Dec 21, 2022 - 14:00 CET
Update
De restore is geslaagd en gevalideerd. We zorgen nu dat de nodige aanpassingen en tests worden gedaan zodat we het platform weer spoedig online kunnen brengen.

EN: The restore was successful and validated. We are now making sure that the necessary adjustments and tests are made and done so that we can bring the platform back online as soon as possible.
Posted Dec 21, 2022 - 13:32 CET
Update
De huidige prognose is dat de restore nog 2 tot 3 uur zal duren, waarna de data gevalideerd en getest moet worden. Zodra de restore is gelukt, zullen we zo spoedig mogelijk ervoor zorgen dat het platform weer online komt. Helaas hebben we geen invloed op de snelheid van het restore-proces. We zijn hier gebonden aan de techniek van Google. Later deze dag zal met hulp van de leverancier van de databasesoftware worden gekeken naar de software en de configuratie om zo hopelijk een oplossing te vinden.

EN: The current prognosis is that the restore will take another 2 to 3 hours, after which the data must be validated and tested. As soon as the restore is successful, we will ensure that the platform comes back online as soon as possible. Unfortunately, we have no influence on the speed of the restore process. We are bound by Google's technology. Later this day, with the help of the supplier of the database software, the software and the configuration will be examined in order to hopefully find a solution.
Posted Dec 21, 2022 - 12:52 CET
Update
De restore van de betreffende database loopt nog steeds. Eerder deze ochtend is ook externe expertise ingeschakeld om de oorzaak van dit probleem te vinden en bij te dragen aan een oplossing van het getroffen component.

EN: The restore of the relevant database is still running. Earlier this morning, outside expertise was also called in to find the cause of this problem and contribute to a resolution of the affected component.
Posted Dec 21, 2022 - 11:45 CET
Update
De restore is momenteel nog steeds gaande. In de tussentijd werken we met man en macht aan een oplossing voor het getroffen component.

EN: The restore is currently still in progress. In the meantime, we are working with all our might to find a solution for the affected component.
Posted Dec 21, 2022 - 11:07 CET
Update
Er is op dit moment storing op ons platform. Al onze resources zijn ingezet om deze storing zo snel mogelijk te verhelpen. Dit zal echter enkele uren in beslag nemen.

Wat speelt er?
Sinds gistermiddag, 20 december, 16:00 uur, spelen er een aantal hardnekkige problemen op het platform. Deze problemen hebben dusdanige impact dat het platform hierdoor al enkele uren niet bereikbaar is. Om deze situatie te herstellen zijn we direct overgegaan naar het terugplaatsen van een backup van het platform. Het terugplaatsen van deze backup is echter een ingrijpend proces, en kost tijd. Deze zogenaamde restore draait momenteel en zal naar verwachting nog enkele uren in beslag nemen. Tot die tijd is het platform niet beschikbaar.

Verdere toelichting
Onze ontwikkelaars werden gisteren om 16:02 gewaarschuwd door de monitoring van het platform dat er problemen waren op het platform die impact hadden op de beheeromgevingen, de webwinkels, de Kassa App en de API. Gezien de drukke kerstperiode is er gekozen om allereerst het probleem te mitigeren, zodat alle hierboven genoemde diensten weer snel online waren, alvorens we een definitieve oplossing zouden doorvoeren. Omstreeks 18:00 uur was dit probleem gemitigeerd en was het platform weer online.

Helaas bleek het mitigeren van het probleem onvoldoende, en traden dezelfde symptomen omstreeks 19:25 uur weer op. Ook hier zijn onze ontwikkelaars direct op het herstellen van het probleem gedoken. In plaats van een poging tot het mitigeren van het probleem is er in dit geval een poging gedaan tot het oplossen van de oorzaak. Helaas bleek dit niet mogelijk, waarna het besluit is genomen om alsnog het probleem te mitigeren en dus een tijdelijke oplossing door te voeren. Deze tijdelijke situatie heeft tot de ochtend van 21 december omstreeks 06:00 uur stabiel gedraaid. Sindsdien is het platform onbereikbaar.

We komen later met meer informatie over deze storing, voor nu ligt de volledige focus op het oplossen van deze storing.

EN: There is currently an outage on our platform. All our resources have been deployed to resolve this outage as quickly as possible. However, this will take a few hours.

What's going on?
Since yesterday afternoon, December 20, at 4:00 PM, there are a number of persistent problems on the platform. These problems have had such an impact that the platform has been unavailable for several hours. To rectify this situation, we immediately proceeded to restore a backup of the platform. However, restoring this backup is a major process and takes time. This so-called restore is currently running and is expected to take a few more hours. Until then, the platform will not be available.

Further explanation
Our developers were warned yesterday at 4:02 PM by monitoring the platform that there were problems on the platform that had an impact on the management environments, the webshops, the Kassa App and the API. Given the busy Christmas period, it was decided to, first of all, mitigate the problem, so that all the services mentioned above were back online quickly before we implemented a definitive solution. By 6:00 PM this problem had been mitigated and the platform was back online.

Unfortunately, mitigating the problem proved insufficient, and the same symptoms reappeared at around 7:25 PM. Here too, our developers dived straight into fixing the problem. In this case, instead of an attempt to mitigate the problem, an attempt has been made to solve the cause. Unfortunately, this was not possible, after which the decision was taken to mitigate the problem and implement a temporary solution. This temporary situation remained stable until December 21 around 06:00 AM. Since then, the platform has been unavailable.

We will come later with more information about this outage. For now, the full focus is on solving this outage.
Posted Dec 21, 2022 - 10:23 CET
Update
We blijven werken aan het implementeren van de oplossing.

EN: We continue to work on implementing the solution.
Posted Dec 21, 2022 - 07:47 CET
Update
We werken nog steeds aan het implementeren van de eerder genoemde oplossing. Helaas is er vooralsnog geen indicatie te geven over de duur hiervan.

EN: We are still working on implementing the aforementioned solution. Unfortunately, there is currently no indication of how long this will take.
Posted Dec 21, 2022 - 07:19 CET
Identified
We hebben de oorzaak van de verstoring gevonden en zijn het probleem aan het verhelpen. Het implementeren van de oplossing heeft even wat tijd nodig. We kunnen op dit moment nog geen indicatie geven wat de duur hiervoor is.

EN: We have found the cause of the disruption and are working to fix it. Implementing the solution will take some time. We are currently unable to give an indication of the duration for this.
Posted Dec 21, 2022 - 06:59 CET
Investigating
De eerdere doorgevoerde tijdelijke oplossing lijkt helaas geen stand te hebben gehouden. We zijn in onderzoek naar de oorzaak van dit probleem.

EN: Unfortunately, the previously implemented temporary solution does not seem to have lasted. We are investigating the cause of this problem.
Posted Dec 21, 2022 - 06:32 CET
Update
We are continuing to work on a fix for this issue.
Posted Dec 20, 2022 - 20:46 CET
Identified
Momenteel is er een tijdelijke oplossing geïmplementeerd, waardoor er de nodige tijd is gekocht om aan een meer robuuste oplossing te werken. Er is geen doorlooptijd voor deze laatste oplossing bekend.

EN: Currently, a workaround has been implemented, which has bought the necessary time to work on a more robust solution. There is no known lead time for this last solution.
Posted Dec 20, 2022 - 19:58 CET
Update
We are continuing to investigate this issue.
Posted Dec 20, 2022 - 19:30 CET
Investigating
We signaleren op dit moment verminderde performance op ons platform. Dit kan leiden tot langere laadtijden en in extreme gevallen tot foutmeldingen. We zijn aan het onderzoeken waar de oorzaak ligt.

EN: We are noticing degraded performance across the platform. This may lead to longer loading times and in extreme cases even error messages. We are researching the cause of the incident.
Posted Dec 20, 2022 - 19:27 CET
This incident affected: Platform (Back office, Storefront, Checkout, API).