OVHcloud Network Status
Current status
Legend
- Operational
- Degraded performance
- Partial Outage
- Major Outage
- Under maintenance
RBX / SBG
Incident
Report for Network & Infrastructure
Resolved
Bonjour,
Avant tous les détails, deux premières informations.
Ce matin, nous avons eu 2 incidents séparés qui n'ont rien à voir l'un avec l'autre. Le 1er incident touche notre site de Strasbourg (SBG) et le 2eme Roubaix (RBX). Sur SBG nous avons 3 datacentres en fonctionnement et 1 en construction. Sur RBX, nous avons 7 datacentres en fonctionnement.
SBG:
Sur SBG nous avons eu un problème électrique. L'alimentation a été rétablie et les services sont en cours de redémarrage. Certains clients sont UP et d'autres pas encore.
Si votre service n'est pas encore UP, le délai de rétablissement est compris entre 5 minutes et 3-4 heures. Notre système de monitoring nous permet de savoir quel client est encore impacté et nous nous travaillons pour les fixer.
RBX:
Nous avons eu un problème sur le réseau optique qui permet à RBX d'être connecté avec les points d'interconnexion que nous avons à Paris, Francfort, Amsterdam, London, Bruxelles. L'origine du problème est un bug software sur les équipements optiques qui a provoqué la perte de la configuration et la coupure de la connexion avec notre site de RBX. Nous avons remis le backup de la configuration software dés que nous avons diagnostiqué l’origine du problème et le DC est à nouveau joignable. L'incident sur RBX est clos. Avec le constructeur, nous cherchons l'origine du bug software et aussi comment ne plus subir ce genre d’incident critique.
Nous sommes en train de récupérer les détails pour vous fournir les informations sur le temps de rétablissement à SBG de tous les services / tous les clients. Aussi, nous allons donner tous les détails techniques sur l'origine de ces 2 incidents.
Nous sommes sincèrement désolés. Nous venons de vivre 2 évènements simultanés et indépendants qui ont impactés tous les clients de RBX entre 8h15 et 10h37 et tous les clients de SBG entre 7h15 et 11h15. Nous continuons à travailler sur les clients qui ne sont pas encore UP à SBG.
Amicalement
Octave
Update(s):
Date: 2017-11-09 21:10:03 UTC
the emails are working fine now.
Date: 2017-11-09 15:52:43 UTC
We have an impact on the delivery time on the emails (mutu, exchange):
http://travaux.ovh.net/?do=details&id=28250
There is no lost, just a big delay that we are fixing it.
Date: 2017-11-09 13:59:05 UTC
For all the details RBX:
http://travaux.ovh.net/?do=details&id=28244
Date: 2017-11-09 12:05:50 UTC
For all the details SBG:
http://travaux.ovh.net/?do=details&id=28247
Date: 2017-11-09 11:54:30 UTC
Hello,
Two pieces of information.
This morning we had 2 separate incidents that have nothing to do with each other. The first incident impacted our Strasbourg site (SBG) and the 2nd Roubaix (RBX). In SBG we have 3 datacentres in operation and 1 under construction. In RBX, we have 7 datacentres in operation.
SBG:
In SBG we had an electrical problem. Power has been restored and services are being restarted. Some customers are UP and others not yet. If your service is not UP yet, the recovery time is between 5 minutes and 3-4 hours. Our monitoring system allows us to know which customers are still impacted and we are working to fix it.
RBX:
We had a problem on the optical network that allows RBX to be connected with the interconnection points we have in Paris, Frankfurt, Amsterdam, London, Brussels. The origin of the problem is a software bug on the optical equipment, which caused the configuration to be lost of and the connection to be cut from our site in RBX. We handed over the backup of the software configuration as soon as we diagnosed the source of the problem and the DC can be reached again. The incident on RBX is fixed. With the manufacturer, we are looking for the origin of the software bug and also looking to avoid this kind of critical incident.
We are in the process of retrieving the details to provide you with information on the SBG recovery time for all services / customers. Also, we will give all the technical details on the origin of these 2 incidents.
We are sincerely sorry. We have just experienced 2 simultaneous and independent events that impacted all RBX customers between 8:15 am and 10:37 am and all SBG customers between 7:15 am and 11:15 am. We are still working on customers who are not UP yet in SBG.
Best,
Octave
Avant tous les détails, deux premières informations.
Ce matin, nous avons eu 2 incidents séparés qui n'ont rien à voir l'un avec l'autre. Le 1er incident touche notre site de Strasbourg (SBG) et le 2eme Roubaix (RBX). Sur SBG nous avons 3 datacentres en fonctionnement et 1 en construction. Sur RBX, nous avons 7 datacentres en fonctionnement.
SBG:
Sur SBG nous avons eu un problème électrique. L'alimentation a été rétablie et les services sont en cours de redémarrage. Certains clients sont UP et d'autres pas encore.
Si votre service n'est pas encore UP, le délai de rétablissement est compris entre 5 minutes et 3-4 heures. Notre système de monitoring nous permet de savoir quel client est encore impacté et nous nous travaillons pour les fixer.
RBX:
Nous avons eu un problème sur le réseau optique qui permet à RBX d'être connecté avec les points d'interconnexion que nous avons à Paris, Francfort, Amsterdam, London, Bruxelles. L'origine du problème est un bug software sur les équipements optiques qui a provoqué la perte de la configuration et la coupure de la connexion avec notre site de RBX. Nous avons remis le backup de la configuration software dés que nous avons diagnostiqué l’origine du problème et le DC est à nouveau joignable. L'incident sur RBX est clos. Avec le constructeur, nous cherchons l'origine du bug software et aussi comment ne plus subir ce genre d’incident critique.
Nous sommes en train de récupérer les détails pour vous fournir les informations sur le temps de rétablissement à SBG de tous les services / tous les clients. Aussi, nous allons donner tous les détails techniques sur l'origine de ces 2 incidents.
Nous sommes sincèrement désolés. Nous venons de vivre 2 évènements simultanés et indépendants qui ont impactés tous les clients de RBX entre 8h15 et 10h37 et tous les clients de SBG entre 7h15 et 11h15. Nous continuons à travailler sur les clients qui ne sont pas encore UP à SBG.
Amicalement
Octave
Update(s):
Date: 2017-11-09 21:10:03 UTC
the emails are working fine now.
Date: 2017-11-09 15:52:43 UTC
We have an impact on the delivery time on the emails (mutu, exchange):
http://travaux.ovh.net/?do=details&id=28250
There is no lost, just a big delay that we are fixing it.
Date: 2017-11-09 13:59:05 UTC
For all the details RBX:
http://travaux.ovh.net/?do=details&id=28244
Date: 2017-11-09 12:05:50 UTC
For all the details SBG:
http://travaux.ovh.net/?do=details&id=28247
Date: 2017-11-09 11:54:30 UTC
Hello,
Two pieces of information.
This morning we had 2 separate incidents that have nothing to do with each other. The first incident impacted our Strasbourg site (SBG) and the 2nd Roubaix (RBX). In SBG we have 3 datacentres in operation and 1 under construction. In RBX, we have 7 datacentres in operation.
SBG:
In SBG we had an electrical problem. Power has been restored and services are being restarted. Some customers are UP and others not yet. If your service is not UP yet, the recovery time is between 5 minutes and 3-4 hours. Our monitoring system allows us to know which customers are still impacted and we are working to fix it.
RBX:
We had a problem on the optical network that allows RBX to be connected with the interconnection points we have in Paris, Frankfurt, Amsterdam, London, Brussels. The origin of the problem is a software bug on the optical equipment, which caused the configuration to be lost of and the connection to be cut from our site in RBX. We handed over the backup of the software configuration as soon as we diagnosed the source of the problem and the DC can be reached again. The incident on RBX is fixed. With the manufacturer, we are looking for the origin of the software bug and also looking to avoid this kind of critical incident.
We are in the process of retrieving the details to provide you with information on the SBG recovery time for all services / customers. Also, we will give all the technical details on the origin of these 2 incidents.
We are sincerely sorry. We have just experienced 2 simultaneous and independent events that impacted all RBX customers between 8:15 am and 10:37 am and all SBG customers between 7:15 am and 11:15 am. We are still working on customers who are not UP yet in SBG.
Best,
Octave