OVHcloud Network Status
Current status
Legend
- Operational
- Degraded performance
- Partial Outage
- Major Outage
- Under maintenance
BHS <> CHI
Incident
Report for Network & Infrastructure
Resolved
Nous avons 80G de capa sur 100G coupés entre notre datacentre de Beauharnois et notre POP de Chicago.
Nous isolons les 2x10G restants pour faire passer le trafic par Newark.
Nous prenons contact avec notre fournisseur.
Update(s):
Date: 2015-12-19 18:30:51 UTC
Tout est ok au niveau des équipements optiques dwdm. Le lien fonctionne normalement.
Date: 2015-12-19 18:24:25 UTC
Les liens sont up. Nous effectuons les vérifications sur les équipements dwdm.
Date: 2015-12-19 18:20:11 UTC
Le cable neuf a été passé, une plus grand longueur a été nécessaire et donc les travaux ont pris un peu plus de temps que prévu. La soudure est réalisée d'un coté et l'équipe travaille sur la fusion de l'autre côté du nouveau troncon. Nos équipes sont également sur le terrain. OVH sera le 1er opérateur rétabli.
Date: 2015-12-19 12:04:00 UTC
Le cable sur le pont a été coupé complètement en raison des travaux en cours pour passer le cable neuf. Tous les circuits des paires 1 et 2 sont down. Le trafic de BHS s'écoule entièrement par la route sud.
Date: 2015-12-19 08:15:50 UTC
Le problème a été localisé sur le pont de Beauharnois, à 410m à peine de la coupure précédente. Un opérateur a tiré un nouveau cable dans la journée sur le pont et a accroché le cable de fibrenoire sur lequel nous avons 3 paires. Notre cable a été tiré de plusieurs mètres et subit une contrainte qui dégrade ses caractéristiques optiques. La conséquence est que certains circuits 10G sont impactés et d'autres non.
Les équipes d'astreinte pour le passage du nouveau cable sont réveillées et vont se mettre en route sous peu pour passer sur le pont un cable neuf de 114 brins sur 475m. Pendant ces opérations, les services restants en fonctionnement sur le cable seront à risque. Une fois le cable neuf en place, l'ancien cable sera coupé puis resoudé sur le nouveau troncon. Il y aura donc une coupure franche de plusieurs minutes, paire par paire. Les circuits 10G vers NWK ne seront donc pas affectés au meme moment que les autres car ils sont sur une paire séparée. Les services d'OVH seront soudés en priorité. Temps de travail estimé pour l'ensemble des travaux : environ 10h.
Grâce à la mise en production de la nouvelle fibre sur la route sud il y a quelques semaines, l'impact de cet incident sur notre trafic est cependant très réduite. Nous avons réparti les circuits entre les 2 routes et la capacité disponible restante en sortie de BHS est en ce moment 2 fois plus importante que le trafic maximal à écouler. Ce sera le cas même en cas de coupure totale du cable sur la route nord.
Détails des circuits down en ce moment:
- 8x10G vers Chicago (le trafic s'écoule par Newark)
- 3x10G vers Newark (sur 800G de capacité totale)
- 1x10G vers Montreal (sur 120G de capacité totale)
Détails des capacités à risque pendant les travaux et coupées pendant plusieurs minutes lors de la soudure sur le cable neuf:
paire 1:
- 20x10G vers Newark (200G sur 800G de capacité)
- 8x10G vers Montreal (80G sur 120G de capacité)
- 2x10G vers RBX et GRA, réseau interne/vrack (20G sur 60G de capacité)
- 2x10G vers Toronto (20G sur 30G de capacité, le trafic s'écoulera par Newark)
paire 2:
- 10x10G vers Chicago (déjà hors-production, nous avons redirigé le trafic par Newark)
- 2x10G vers SBG réseau interne/vrack (20G sur 60G de capacité)
Date: 2015-12-19 02:32:20 UTC
Nous continuons les recherches sur la localisation du problème. Les tests d'OTDR indiquent un problème à environ 2km du datacentre. Cela pourrait correspondre à des travaux de passage d'un nouveau cable au niveau du pont. Notre équipe est sur le terrain en ce moment et travaille avec le mainteneur du cable.
Date: 2015-12-18 23:42:08 UTC
Nous avons identifié un pb sur l'une des lignes optiques en sortie du datacentre de BHS qui impacte certains circuits 10G dont les BHS <> Chicago mais également 3x10G BHS <> Newark et 1x10G BHS <> Montréal. Nous observons une détérioriation de la qualité de la fibre avec une augmentation de l'atténuation de 6dB entre 11h et 11h15 heure locale. Nous devons maintenant effectuer des tests plus poussés pour déterminer la localisation du problème. Nous pensons que le problème est proche de BHS voir dans le batiment lui même.
Le trafic vers Chicago s'écoule actuellement via New York mais il n'y a pas d'autres impacts sur le réseau IP.
Nous isolons les 2x10G restants pour faire passer le trafic par Newark.
Nous prenons contact avec notre fournisseur.
Update(s):
Date: 2015-12-19 18:30:51 UTC
Tout est ok au niveau des équipements optiques dwdm. Le lien fonctionne normalement.
Date: 2015-12-19 18:24:25 UTC
Les liens sont up. Nous effectuons les vérifications sur les équipements dwdm.
Date: 2015-12-19 18:20:11 UTC
Le cable neuf a été passé, une plus grand longueur a été nécessaire et donc les travaux ont pris un peu plus de temps que prévu. La soudure est réalisée d'un coté et l'équipe travaille sur la fusion de l'autre côté du nouveau troncon. Nos équipes sont également sur le terrain. OVH sera le 1er opérateur rétabli.
Date: 2015-12-19 12:04:00 UTC
Le cable sur le pont a été coupé complètement en raison des travaux en cours pour passer le cable neuf. Tous les circuits des paires 1 et 2 sont down. Le trafic de BHS s'écoule entièrement par la route sud.
Date: 2015-12-19 08:15:50 UTC
Le problème a été localisé sur le pont de Beauharnois, à 410m à peine de la coupure précédente. Un opérateur a tiré un nouveau cable dans la journée sur le pont et a accroché le cable de fibrenoire sur lequel nous avons 3 paires. Notre cable a été tiré de plusieurs mètres et subit une contrainte qui dégrade ses caractéristiques optiques. La conséquence est que certains circuits 10G sont impactés et d'autres non.
Les équipes d'astreinte pour le passage du nouveau cable sont réveillées et vont se mettre en route sous peu pour passer sur le pont un cable neuf de 114 brins sur 475m. Pendant ces opérations, les services restants en fonctionnement sur le cable seront à risque. Une fois le cable neuf en place, l'ancien cable sera coupé puis resoudé sur le nouveau troncon. Il y aura donc une coupure franche de plusieurs minutes, paire par paire. Les circuits 10G vers NWK ne seront donc pas affectés au meme moment que les autres car ils sont sur une paire séparée. Les services d'OVH seront soudés en priorité. Temps de travail estimé pour l'ensemble des travaux : environ 10h.
Grâce à la mise en production de la nouvelle fibre sur la route sud il y a quelques semaines, l'impact de cet incident sur notre trafic est cependant très réduite. Nous avons réparti les circuits entre les 2 routes et la capacité disponible restante en sortie de BHS est en ce moment 2 fois plus importante que le trafic maximal à écouler. Ce sera le cas même en cas de coupure totale du cable sur la route nord.
Détails des circuits down en ce moment:
- 8x10G vers Chicago (le trafic s'écoule par Newark)
- 3x10G vers Newark (sur 800G de capacité totale)
- 1x10G vers Montreal (sur 120G de capacité totale)
Détails des capacités à risque pendant les travaux et coupées pendant plusieurs minutes lors de la soudure sur le cable neuf:
paire 1:
- 20x10G vers Newark (200G sur 800G de capacité)
- 8x10G vers Montreal (80G sur 120G de capacité)
- 2x10G vers RBX et GRA, réseau interne/vrack (20G sur 60G de capacité)
- 2x10G vers Toronto (20G sur 30G de capacité, le trafic s'écoulera par Newark)
paire 2:
- 10x10G vers Chicago (déjà hors-production, nous avons redirigé le trafic par Newark)
- 2x10G vers SBG réseau interne/vrack (20G sur 60G de capacité)
Date: 2015-12-19 02:32:20 UTC
Nous continuons les recherches sur la localisation du problème. Les tests d'OTDR indiquent un problème à environ 2km du datacentre. Cela pourrait correspondre à des travaux de passage d'un nouveau cable au niveau du pont. Notre équipe est sur le terrain en ce moment et travaille avec le mainteneur du cable.
Date: 2015-12-18 23:42:08 UTC
Nous avons identifié un pb sur l'une des lignes optiques en sortie du datacentre de BHS qui impacte certains circuits 10G dont les BHS <> Chicago mais également 3x10G BHS <> Newark et 1x10G BHS <> Montréal. Nous observons une détérioriation de la qualité de la fibre avec une augmentation de l'atténuation de 6dB entre 11h et 11h15 heure locale. Nous devons maintenant effectuer des tests plus poussés pour déterminer la localisation du problème. Nous pensons que le problème est proche de BHS voir dans le batiment lui même.
Le trafic vers Chicago s'écoule actuellement via New York mais il n'y a pas d'autres impacts sur le réseau IP.