OVHCloud Network Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
upgrade: th2-1-6k/th1-1-6k
Scheduled Maintenance Report for Network & Infrastructure
Completed
Nous allons mettre à jour le routeur th2-1-6k et th1-1-6k pour passer
sur les nouvelles cartes BXL et fixer le bug dans la version IOS que
nous avons en production:

Nov 5 17:42:55 GMT: %PM_SCP-SP-2-LCP_FW_ERR_INFORM: Module 2 is experiencing the following error: Interrupt counters cumulative, (10s critical/noncritical): ROINT[0]: totalcalls=1, aricjacrc=1. ROINT[1]: totalcalls=1914, p2necc1=65, ecc2=1913, argospktin=1, (172/63). JAINT[0]: total=7, drri0=1, drri1=7, (6/0). JAINT[1]: total=1, drri1=1.
Nov 5 17:42:55 GMT: %PM_SCP-SP-1-LCP_FW_ERR_POWERDOWN: Module 2 will be powered down due to firmware error: RO[1] (1834 ecc2 int in the last 10s).
Nov 5 17:42:55 GMT: %C6KPWR-SP-4-DISABLED: power to module in slot 2 set off (excessive interrupt)


Update(s):

Date: 2007-11-29 00:43:11 UTC
Les 4x10G sont en production.

Date: 2007-11-28 22:10:32 UTC
Nous allons mettre en place le lien DWDM entre le routeur
th1-1-6k et th2-1-6k. Pour cela nous allons couper le lien
actuellement en production puis le passer en DWDM.

Il n'y a pas de panne à prevoir. Le routage se faisant de
maniere redondante.

Debut des travaux dans 15 minutes à 0h30 environ. Fin vers
2h00 du matin.

Date: 2007-11-18 20:32:18 UTC
Le routeur a crashé et nous avons dû reintervenir dans le
datacentre th1 pour changer une fois encore le chassis.
Nous avons mis un chassis 6506 au lieu de 6509. C'est l'ancien
chassis rdb-2-6k et donc il est \"bon\", \"verifié\", \"testé\" et
\"fonctionnant\" ... ou alors il faut revoir le vocabulaire.

8 minutes pour changer le chassis. On commence à avoir l'habitude
de th1-1-6k.

Pour l'instant le routeur fonctionne avec la carte 3 et 4 en prime.
On attend 2 heures avant de repartir.

Merci la greve et les bouchons incroyables sur Paris ...

Date: 2007-11-18 14:53:56 UTC
Le routeur th1 a coupé toutes les sessions BGP qui ne sont
pas avec Ovh (non internal BGP) parce qu'il ne ping plus
les IP exterieure (!!).

Nous le rebootons.

Date: 2007-11-16 04:25:14 UTC
La carte 3 et 4 continuent à poser des problemes sur le nouveau
chassis. Elles bootent mais commencer à faire des trucs bizarres
sur les communications interne du Cisco. Nous avons rebooté le
routeur sans la carte 3 e 4. Le foncionnement est correct, mais
nous ne pouvons pas finaliser nos travaux sur le ring.

Date: 2007-11-16 04:13:32 UTC
Le routeur pose encore des problemes. Nous sommes en cours de
reboot.

Date: 2007-11-16 03:29:20 UTC
Il y a un probleme au niveau de routage interne. On vient
d'arreter un vlan de routage interne en vue de futurs
changements.

Date: 2007-11-16 03:23:40 UTC
Le chassis a été changée. Il marche. 2 chassis ont
été cassés + 2 sup720 + 1 alim. Mais la situation
n'est pas encore stable. On surveille.

Date: 2007-11-15 23:57:50 UTC
Nous avons mis au point un chassis qui marche avec les
cartes qu'il faut. Nous allons regarder en profondeur
dans la semaine pourquoi les autres ne marchent pas.
Mais il semble que ça soit lié aux alimentaions qui
ne fonctionnent pas correctement et aux états de cartes
qui ne s'effacent pas après le redemarrage (la carte
reste en défaut même si tout va bien).

Sous 5 minutes nous allons changer le chassis de th1.

Date: 2007-11-13 23:38:07 UTC
Nous allons preparer cette nuit la routeur identique à th1
et tester la conf dans ce routeur. Si tout passe on remplacera
tout routeur entier et pas une carte par carte.

Date: 2007-11-13 01:24:53 UTC
marche pas. nous avons changé le chassis, basculé les cartes,
changé les positions dans les chassis. changé la sup720 et
nous avons toujours le probleme sur le slot 4 avec
Nov 13 01:49:08 th1-1-6k.routers.ovh.net 1077: Nov 13 01:49:06 GMT: %C6KPWR-SP-4-DISABLED: power to module in slot 4 set off (Fabric channel errors)

Demain/Mercredi nous allons preparer un nouveau chassis avec tout bien
testé et basculer tout le routeur en état de marche. On va
l'avoir !

Date: 2007-11-12 23:51:51 UTC
c'est parti

Date: 2007-11-12 23:24:54 UTC
Nous allons changer le chassis de th1 cette nuit. Debut des opérations
à 1H du matin. Ca devrait prendre 20 minutes. Pendant ce temps là le
trafic passera par d'autres routeurs et les transits.

Date: 2007-11-07 06:01:59 UTC
Th1 est passé en configuration BXL aussi. Nous avons changé une carte 10G
et la SUP720 puis mis à jour IOS.

Par contre le chassis du routeur semble ne pas fonctionner correctement
avec les nouvelles cartes 10G. Nous allons devoir le remplacer la semaine
prochaine une nuit.

Date: 2007-11-06 06:45:52 UTC
Nous avons changé la carte et visiblement tout est à nouveau
en fonctionnement. Nous avons profité de l'interversion pour
changer une autre carte 10G et la carte sup720.

Le routeur est à nouveau opérationel à 100%

Date: 2007-11-06 00:16:20 UTC
Le routeur est revenu sur la nouvelle version d'IOS.

La carte a toujours des problemes. Nous allons faire un tour à Paris cette
nuit pour regler le probleme définitivement (au besoins on changera la
carte directement).

Date: 2007-11-05 23:55:42 UTC
Nous allons mettre à jour th2-1-6k. C'est parti.

Date: 2007-11-05 23:13:35 UTC
Nous devons aussi changer une carte 10G et la carte sup720 vers les
models BXL qui ont plus de mémoires que les versions actuels.
Posted Nov 05, 2007 - 16:51 UTC