Get webhook notifications whenever Network & Infrastructure creates an incident, updates an incident, resolves an incident or changes a component status.
Nous allons quitter le POP de th1 et déménageons l'ensemble de nos équipements vers une nouvelle salle à th2 notamment le routeur th1-1-6k et notre DTN Infinera qui s'y trouvent. Le routeur th1-1 sera remplacé par un nouveau th2-5-6k et le DTN sera déménagé dans la nuit de jeudi à vendredi (du 22 au 23). Nous allons donc déplacer les points d'arrivées de fibres vers Roubaix, Francfort et p19 ainsi que les intercos que nous avions avec différents opérateurs sur th1: Tata, Orange, OTI, Bouygues, Seabone.
La 1ère étape de cette migration est déjà effectuée, le routeur th2-5-6k étant déjà prêt à connecter les différents services qui seront migrés. On attaque demain le gros morceau :
- matinée: coupure du paris<>francfort (lien de backup Francfort), le trafic p19 vers FRA et l'Europe de l'est sera temporairement routé via Roubaix
- matinée: activation de 4x10G entre th1-1 et th2-5
- 14:00: migration des ports TATA de th1-1 vers th2-5
- après-midi: installation d'un nouveau chassis Infinera vide sur th2 et préparation des travaux pour la nuit
- 00:00 migration des liens optiques longues distances de th1 vers th2: Roubaix<>Paris et Francfort<>Paris. Le trafic Paris<>Roubaix continue de s'écouler via notre second lien Roubaix<>Globalswitch. Réactivation de tous les liens 10G vers Roubaix et Francfort sur le nouveau routeur th2-5-6k.
Update(s):
Date: 2011-09-23 04:17:09 UTC Le trafic est retablit sur th2-1-6k vers TATA, Orange, Seabone et Bouygues.
Il reste encore 4-5 phases de travaux sur Paris que nous allons effectuer
dans quelques jours et avant la fin du mois:
- il faut vider th1
- ajouter ASR 9010 à th2
- ajouter ASR 9010 à gsw
- raccorder tous les 6k sur les 2 ASR
- raccorder les NRA sur les ASR
Date: 2011-09-23 04:16:48 UTC Fin des travaux pour cette nuit.
Date: 2011-09-23 04:14:44 UTC Ces liens 4 sont maintenant reconnectés sur le th2-5-6k.
Date: 2011-09-23 03:41:08 UTC Done.
On bascule maintenant les circuits vers Orange, Seabone et Bouygue.
Date: 2011-09-23 03:28:05 UTC Le trafic s'ecoule de Roubaix vers Paris sur 2 liens maintenant.
Les connexions entre th1-1-6k, th2-1-6k et th2-5-6k sont en
triangle et actif. le trafic s'ecoule normalement.
Il reste à ralonger le peering avec orange de th1 vers th2
(2x10G), le peering avec bouygues et le transit seabone en
attandant que les migrations de liens sont effectués par
ces opérateurs de th1 vers th2. Par contre le transit OTI
reste sur th1.
Date: 2011-09-23 02:02:42 UTC Done. On attaque la dernière étape des travaux : migration du lien th2-1 <> th1-1 vers th2-5 <> th1-1.
Date: 2011-09-23 01:54:07 UTC Nous réactivons l'ensemble des circuits 10G.
Date: 2011-09-23 01:53:46 UTC Interoute avait un pb de son côté sur la cross-co vers nous. C'est fixé et le lien Paris<>Francfort est up mais avec un signal trop fort en réception. On règle l'atténuation en input en passant sur un atténuateur 5dB au lieu de 10 pour rentrer dans les clous.
Date: 2011-09-23 01:23:00 UTC Le lien Paris<>Roubaix est opérationnel. Nous remontons les 10G. Nous avons un souci au niveau du Paris<>Francfort (atténuation meilleure dans un sens, plus mauvaise dans l'autre). On investigue au niveau des cablages.
Date: 2011-09-23 01:04:35 UTC Nous sommes maintenant sur le site de th2. Les équipements sont en cours d'installation.
Date: 2011-09-22 23:11:18 UTC Le chassis Infinera sur th1 est éteint. Les cartes sont extraites et préparées pour le transport.
Date: 2011-09-22 22:55:43 UTC Ca n'a pas été prevu cette nuit. On le fera plus tard.
Date: 2011-09-22 22:36:15 UTC Nous coupons le trafic th1-1<>p19-7 pour migrer le lien.
Date: 2011-09-22 22:35:49 UTC L'algo d'ajustement auto du gain est de nouveau opérationnel dans le sens Paris>Roubaix. On ajoute un offset de +2 sur Etricourt pour rentrer dans le range de fonctionnement normal des amplis sur Willerval et Roubaix (qui est de 32dB max). Il faudra une intervention ultérieure pour régler le pb de span loss trop élevé entre Etricourt et Willerval.
Date: 2011-09-22 22:09:37 UTC Les réglages sur les offsets ont été faits mais pas encore pris en comptes. Nous effectuons un warm reset sur la BMM de Telehouse pour forcer la maj des gains sur les OAMs dans le sens Paris>Roubaix.
Date: 2011-09-22 22:07:16 UTC Suite au reboot de la carte OAM, les liens entre Paris/Roubaix
ont coupé pendant 15 secondes. Nous avons profité pour les
sortir du routage puis voir comment le trafic va s'ecouler
maintenant.
On a reactiver un 40G entre rbx-1/gsw-1 pour ajouter un peu
de capacité.
w8
Date: 2011-09-22 22:04:03 UTC Suite au reboot de la carte OAM sur Nogent, l'alarme a disparu. La carte est revenue dans son fonctionnement normal.
Date: 2011-09-22 21:55:41 UTC Nous allons preparer la coupure du lien Roubaix/Paris vers th1-1-6k.
Le trafic va s'ecouler naturellement (ou pas) via le reste du reseau.
En fonction de cet ecoulement nous allons aider le reseau d'évacuer
le trafic vers internet sans perte de packet. Si c'est le cas
n'hesitez pas nous envoyer l'email avec vos IP sur oles@ovh.net
Date: 2011-09-22 21:48:25 UTC Nous effectuons les modifs sur le lien optique Paris<>Roubaix
Date: 2011-09-22 16:24:20 UTC Nous avons redirigé le trafic TATA de London vers Amsterdam
Date: 2011-09-22 15:21:05 UTC les 3x10G TATA sont remontés sur le nouveau routeur th2-5-6k. Nous avons également mis en place un lien temporaire 4x10G th1-1 <> th2-5.
Point de vue trans, le nouveau chassis infinera est en place à vide et en attente des cartes que nous amènerons cette nuit de th1.
Déroulement des opérations cette nuit:
- 23:00 actions correctrices sur le lien Paris<>Roubaix selon les préconisations d'infinera (réglages offset, reboot à chaud d'une carte OAM sur le site de Nogent)
- 00:00 si tout s'est bien passé et que le lien est resté stable, mise hors tension du chassis à th1, transfert des cartes sur th2
- 01:00 migration des liaisons fibres vers Roubaix et Francfort sur th2 en coordination avec Interoute
- 01:30 réactivation du DTN Infinera sur th2 puis réactivation des circuits 10G vers Roubaix et Francfort
- 02:00 activation des 2x10G p19-7<>th2-5 (DWDM)
- 02:30 check de l'équilibrage du trafic sur le backbone
Date: 2011-09-22 12:47:13 UTC Le trafic de TATA a repassé sur GBLX à Paris. Ca vient d'être ajusté pour
sortir sur TATA à London. On travaile avec TATA pour reactiver les 3 ports
10G à Paris sur TH2 au lieu de TH1. On ne repassera pas dessus avant demain
matin.
Date: 2011-09-22 11:46:55 UTC lien th1-1 <> fra-5 coupé, on coupe maintenant le trafic TATA sur th1-1
Date: 2011-09-22 11:22:06 UTC Nous allons couper le lien Paris<>Francfort puis les 3x10G TATA sur th1