OVHcloud Network Status
Current status
Legend
- Operational
- Degraded performance
- Partial Outage
- Major Outage
- Under maintenance
Panne de Redbus (à nouveau)
Incident
Report for Network & Infrastructure
Resolved
Redbus semble d'avoir à nouveau une panne electrique
dans la mesure où nos routeurs ne sont plus joinables,
ainsi que ceux de FreeIX. On attend les informations.
Update(s):
Date: 2006-03-29 13:27:20 UTC
Le site est de nouveau alimenté par EDF, la charge Clients est sur UPS
et les process de secours générateurs ont été testés positivement.
Date: 2006-03-28 13:05:15 UTC
Le basculement est reporté à cette nuit pour 4h du matin, afin que les batteries des onduleurs soient pleinement rechargées (10h de charge ne suffit pas à charger totalement les batteries).
Cela permettra à Redbus de se reserver une marge de manoeuvre plus longue.
Date: 2006-03-27 21:44:34 UTC
Les onduleurs sont connectés.
Les baies sont passées sur le réseau ondulé.
On se retrouve donc alimentés par les generateurs mais en étant protegé par les onduleurs.
Les onduleurs rechargent pendant 10h. Demain soir, à 20h, le basculement vers EDF sera fait.
Au niveau des generateurs il y a actuellement 50 000 litres de fuel (le plein a été fait aujourd'hui à 17h). Demain matin 13 000 litres seront ajoutés (plus que la consommation prevue pour cette nuit).
La situation reste comme ça jusque demain 20h.
Date: 2006-03-27 21:09:12 UTC
La phase 2 prends finalement un peu plus de temps. Ils l'estiment à 45 minutes à partir de maintenant.
Date: 2006-03-27 20:23:52 UTC
La première partie a été realisée sans problème.
D'ici 15 minutes les techniciens attaquent la seconde phase qui consiste à brancher les onduleurs sur les groupes electrogene. C'est la partie qui est actuellement la plus dangeureuse.
Date: 2006-03-27 18:06:23 UTC
L'intervention de 20h va consister au demontage et à la réparation du disjoncteur EDF. Le disjoncteur étant isolé, il n'y aura normalement pas d'incident.
A 21h ou 22h environs, lorsque le disjoncteur sera reparré, les onduleurs seront basculés sur les generateurs qui fournissent actuellement le courant sur Redbus. Cette manipulation avait échouée à deux reprises hier suite à une defaillance d'un des onduleurs. L'onduleur en question a été reparré mais le risque existe tout de même.
Suite à cette manipulation, les onduleurs seront injecté dans le circuit entre les generateurs et les clients. Le courant sera donc régulé.
10h plus tard les batteries des onduleurs seront pleinement chargées. Il sera alors techniquement possible de repasser sur l'alimentation EDF. Le bascullement sera fait à une date et une heure non communiquée pour le moment.
Date: 2006-03-27 16:13:49 UTC
Redbus prevoit une intervention sur les installations ce soir
vers 20H00.
--------------------------------------------------------------
Comme suite à notre email d'hier soir, nous confirmons que l'alimentation Clients est assurée en direct par les groupes électrogènes. Ceux-ci sont toujours en fonction dans des conditions stables de tension et fréquence. Les réservoirs de fuel sont pleins environ aux deux tiers et nous les rempliront cet après-midi.
Nous devons procéder à la reconnection des UPS sur les groupes électrogènes pour recharger les batteries, et à la maintenance du Disjoncteur normal TGBT (alimenté par EDF). A la demande de nos Clients, nous avons retardé ces opérations jusqu'à ce soir. Elles commenceront à 20h00 et comporteront :
- Maintenance corrective du Disjoncteur normal TGBT
- Reconnexion des UPS sur les générateurs
- Passage de la charge Clients sur les UPS
Il faudra ensuite attendre la recharge des batteries UPS pour réalimenter les UPS par EDF
Ces opérations comportent un risque de coupure électrique.
---------------------------------------------------------------------
Date: 2006-03-26 16:41:01 UTC
D'apres les informations de Redbus, le courant generé par
les groupes est stable. On ne sait pas ce que ça veut dire,
mais vu la fiabilitée des groupes dans le passé et l'historique
de la journée, on n'exclue rien.
En tout cas, tout fonctionne sur les groupes et groupes uniquement.
Pas d'EDF (dijoncteur cassé), pas d'onduleurs (les bateries à plat).
Si vous avez encore des problemes sur vos serveurs au niveau
de Redbus, contactez notre support. Notre équipe sur place à
Redbus va prendre votre ticket en cours pour vous tenir au
courant de l'état de votre serveur/installation.
Date: 2006-03-26 16:08:40 UTC
Les ondulaires restent non connectés aux groupes et donc
restent à plat. Les 3 groupes fonctionnent en paralleles
et donc si l'un des groupes ne fonctionne plus, Redbus dit
qu'il ne devrait pas y avoir de coupure.
Le dijoncteur principal reste cassé et donc EDF n'alimente
pas Redbus. Tout fonctionne sur les groupes et sans ondulaires.
Le dijoncteur ne peut pas être reparé ce soir vu qu'il
n'y a pas d'astrinte sur ce genre d'équipement.
En conclusion: on tourne en mode ultra degradé avec un
maximum des risques en croissant les doitgs que quelque
chose ne lache dans la nuit et demain en tout cas avant
que le dijoncteur soit reparé.
On redemarre toutes les baies restantes.
Date: 2006-03-26 15:07:11 UTC
17:01:02 3ème coupure electrique
17:05:28 fin de la coupure.
Date: 2006-03-26 15:02:07 UTC
Le basculement, qui a le but d'alimenter les ondulaires pour
les recharger à partir des groupes, a mal tourné. Coupure
generale à nouveau ! Une 3ème.
Date: 2006-03-26 14:43:40 UTC
Redbus semble d'avoir trouvé l'origine de la 2ème panne
(lors de la recharge des ondulaires, l'un des 2 ondulaires
n'a pas suivi et tout a coupé). Ils pensent mettre en
recharge les ondulaires sous 10 minutes puis attendre en
suite la reparation du dijoncteur principal en fonctionnant
sur les groupes.
Date: 2006-03-26 14:29:45 UTC
Ce matin, il y a eu 3 coupures EDF et à la 3eme le disjoncteur
principal a "mal" réagi ce qui a provoqué la 1ere coupure.
Tout fonctionnait sur les groupes electrogenes (2 sur 3 groupes).
Les ondulaires ont été dechargés. L'un des groupes a mal fonctionné
et le temps que le 3ème ne redemarre, ça a fait la 2ème coupure.
Actuellement tout fonctionne sur 3 ondulaires. Redbus n'arrive
toujours pas à remettre le dijoncteur principal en route. Il est
fort à parier que vu que les ondulaires sont à plat et il faudra
passer en EDF, lors du passage de groupes vers EDF il y aura une
3ème coupure electrique. Une maintenance est prevue au niveau du
dijoncteur à 18H.
Date: 2006-03-26 13:54:36 UTC
La situation n'est pas stable. Lors des basculements EDFGroupe
electrogene, les ondulaires ne fonctionnent pas. Comme actuellement
tout est sur les groupes et on doit passer en EDF, il existe un
risque de coupure à nouveau. Redbus demande de ne pas redemarrer
les installations en attendant que tout soit resolu.
Date: 2006-03-26 13:20:22 UTC
14:32:10 en encore une coupure !!!
15:16:28 à nouveau up !!!!!
Date: 2006-03-26 13:03:18 UTC
Les installations de Redbus semblent être de nouveau coupées.
Nous allons nous rendre sur place afin d'aider les clients lorsque le courant sera de nouveau present.
Date: 2006-03-26 09:56:57 UTC
10:55:20 debut de la panne electrique
11:54:41 fin de la panne, debut de remonté electrique
Le routage est à nouveau opérationel à 100%
On va rester sur Redbus pour aider les clients à remonter
leurs installations.
Date: 2006-03-26 09:32:36 UTC
Confirmation de responsable d'electricité chez Redbus: une coupure
electrique.
Nos équipes sont en route vers Redbus.
dans la mesure où nos routeurs ne sont plus joinables,
ainsi que ceux de FreeIX. On attend les informations.
Update(s):
Date: 2006-03-29 13:27:20 UTC
Le site est de nouveau alimenté par EDF, la charge Clients est sur UPS
et les process de secours générateurs ont été testés positivement.
Date: 2006-03-28 13:05:15 UTC
Le basculement est reporté à cette nuit pour 4h du matin, afin que les batteries des onduleurs soient pleinement rechargées (10h de charge ne suffit pas à charger totalement les batteries).
Cela permettra à Redbus de se reserver une marge de manoeuvre plus longue.
Date: 2006-03-27 21:44:34 UTC
Les onduleurs sont connectés.
Les baies sont passées sur le réseau ondulé.
On se retrouve donc alimentés par les generateurs mais en étant protegé par les onduleurs.
Les onduleurs rechargent pendant 10h. Demain soir, à 20h, le basculement vers EDF sera fait.
Au niveau des generateurs il y a actuellement 50 000 litres de fuel (le plein a été fait aujourd'hui à 17h). Demain matin 13 000 litres seront ajoutés (plus que la consommation prevue pour cette nuit).
La situation reste comme ça jusque demain 20h.
Date: 2006-03-27 21:09:12 UTC
La phase 2 prends finalement un peu plus de temps. Ils l'estiment à 45 minutes à partir de maintenant.
Date: 2006-03-27 20:23:52 UTC
La première partie a été realisée sans problème.
D'ici 15 minutes les techniciens attaquent la seconde phase qui consiste à brancher les onduleurs sur les groupes electrogene. C'est la partie qui est actuellement la plus dangeureuse.
Date: 2006-03-27 18:06:23 UTC
L'intervention de 20h va consister au demontage et à la réparation du disjoncteur EDF. Le disjoncteur étant isolé, il n'y aura normalement pas d'incident.
A 21h ou 22h environs, lorsque le disjoncteur sera reparré, les onduleurs seront basculés sur les generateurs qui fournissent actuellement le courant sur Redbus. Cette manipulation avait échouée à deux reprises hier suite à une defaillance d'un des onduleurs. L'onduleur en question a été reparré mais le risque existe tout de même.
Suite à cette manipulation, les onduleurs seront injecté dans le circuit entre les generateurs et les clients. Le courant sera donc régulé.
10h plus tard les batteries des onduleurs seront pleinement chargées. Il sera alors techniquement possible de repasser sur l'alimentation EDF. Le bascullement sera fait à une date et une heure non communiquée pour le moment.
Date: 2006-03-27 16:13:49 UTC
Redbus prevoit une intervention sur les installations ce soir
vers 20H00.
--------------------------------------------------------------
Comme suite à notre email d'hier soir, nous confirmons que l'alimentation Clients est assurée en direct par les groupes électrogènes. Ceux-ci sont toujours en fonction dans des conditions stables de tension et fréquence. Les réservoirs de fuel sont pleins environ aux deux tiers et nous les rempliront cet après-midi.
Nous devons procéder à la reconnection des UPS sur les groupes électrogènes pour recharger les batteries, et à la maintenance du Disjoncteur normal TGBT (alimenté par EDF). A la demande de nos Clients, nous avons retardé ces opérations jusqu'à ce soir. Elles commenceront à 20h00 et comporteront :
- Maintenance corrective du Disjoncteur normal TGBT
- Reconnexion des UPS sur les générateurs
- Passage de la charge Clients sur les UPS
Il faudra ensuite attendre la recharge des batteries UPS pour réalimenter les UPS par EDF
Ces opérations comportent un risque de coupure électrique.
---------------------------------------------------------------------
Date: 2006-03-26 16:41:01 UTC
D'apres les informations de Redbus, le courant generé par
les groupes est stable. On ne sait pas ce que ça veut dire,
mais vu la fiabilitée des groupes dans le passé et l'historique
de la journée, on n'exclue rien.
En tout cas, tout fonctionne sur les groupes et groupes uniquement.
Pas d'EDF (dijoncteur cassé), pas d'onduleurs (les bateries à plat).
Si vous avez encore des problemes sur vos serveurs au niveau
de Redbus, contactez notre support. Notre équipe sur place à
Redbus va prendre votre ticket en cours pour vous tenir au
courant de l'état de votre serveur/installation.
Date: 2006-03-26 16:08:40 UTC
Les ondulaires restent non connectés aux groupes et donc
restent à plat. Les 3 groupes fonctionnent en paralleles
et donc si l'un des groupes ne fonctionne plus, Redbus dit
qu'il ne devrait pas y avoir de coupure.
Le dijoncteur principal reste cassé et donc EDF n'alimente
pas Redbus. Tout fonctionne sur les groupes et sans ondulaires.
Le dijoncteur ne peut pas être reparé ce soir vu qu'il
n'y a pas d'astrinte sur ce genre d'équipement.
En conclusion: on tourne en mode ultra degradé avec un
maximum des risques en croissant les doitgs que quelque
chose ne lache dans la nuit et demain en tout cas avant
que le dijoncteur soit reparé.
On redemarre toutes les baies restantes.
Date: 2006-03-26 15:07:11 UTC
17:01:02 3ème coupure electrique
17:05:28 fin de la coupure.
Date: 2006-03-26 15:02:07 UTC
Le basculement, qui a le but d'alimenter les ondulaires pour
les recharger à partir des groupes, a mal tourné. Coupure
generale à nouveau ! Une 3ème.
Date: 2006-03-26 14:43:40 UTC
Redbus semble d'avoir trouvé l'origine de la 2ème panne
(lors de la recharge des ondulaires, l'un des 2 ondulaires
n'a pas suivi et tout a coupé). Ils pensent mettre en
recharge les ondulaires sous 10 minutes puis attendre en
suite la reparation du dijoncteur principal en fonctionnant
sur les groupes.
Date: 2006-03-26 14:29:45 UTC
Ce matin, il y a eu 3 coupures EDF et à la 3eme le disjoncteur
principal a "mal" réagi ce qui a provoqué la 1ere coupure.
Tout fonctionnait sur les groupes electrogenes (2 sur 3 groupes).
Les ondulaires ont été dechargés. L'un des groupes a mal fonctionné
et le temps que le 3ème ne redemarre, ça a fait la 2ème coupure.
Actuellement tout fonctionne sur 3 ondulaires. Redbus n'arrive
toujours pas à remettre le dijoncteur principal en route. Il est
fort à parier que vu que les ondulaires sont à plat et il faudra
passer en EDF, lors du passage de groupes vers EDF il y aura une
3ème coupure electrique. Une maintenance est prevue au niveau du
dijoncteur à 18H.
Date: 2006-03-26 13:54:36 UTC
La situation n'est pas stable. Lors des basculements EDFGroupe
electrogene, les ondulaires ne fonctionnent pas. Comme actuellement
tout est sur les groupes et on doit passer en EDF, il existe un
risque de coupure à nouveau. Redbus demande de ne pas redemarrer
les installations en attendant que tout soit resolu.
Date: 2006-03-26 13:20:22 UTC
14:32:10 en encore une coupure !!!
15:16:28 à nouveau up !!!!!
Date: 2006-03-26 13:03:18 UTC
Les installations de Redbus semblent être de nouveau coupées.
Nous allons nous rendre sur place afin d'aider les clients lorsque le courant sera de nouveau present.
Date: 2006-03-26 09:56:57 UTC
10:55:20 debut de la panne electrique
11:54:41 fin de la panne, debut de remonté electrique
Le routage est à nouveau opérationel à 100%
On va rester sur Redbus pour aider les clients à remonter
leurs installations.
Date: 2006-03-26 09:32:36 UTC
Confirmation de responsable d'electricité chez Redbus: une coupure
electrique.
Nos équipes sont en route vers Redbus.