Get webhook notifications whenever Network & Infrastructure creates an incident, updates an incident, resolves an incident or changes a component status.
Nous allons mettre à jour les routeurs de la backbone sur la
derniere version d'IOS. Le but est de fixer tous les bugs liés
à l'IPv6 puis reformater la TCAM CEF avec une configuration
spécifique.
#sh mls cef maximum-routes
FIB TCAM maximum routes :
=======================
Current :-
-------
IPv4 - 911k
MPLS - 1k
IPv6 - 50k
IP multicast - 1k
puis ajouter sur tous les routeurs.
no spanning-tree vlan 1-4094
Update(s):
Date: 2011-06-03 00:28:53 UTC c'est fini. ouff ! :)
Date: 2011-06-03 00:01:42 UTC il reste ams-5-6k
Date: 2011-06-02 23:25:51 UTC bor-1-6k en cours
Date: 2011-06-02 23:17:11 UTC fra-5-6k est stabilisé.
ams-1-6k en cours
Date: 2011-06-02 22:46:11 UTC cette nuit nous assitons à un festival de problemes.
2ème mise à jour qui se passe mal avec le g1 ça fait
3 problemes à gerer en moins d'1h.
ici, le routeur s'est dit qu'il ne va pas booter sans
intervention de sysadmin. vive les cables serie !
Jun 2 23:32:30 GMT: %OIR-SP-6-CONSOLE: Changing console ownership to switch processor
Jun 2 23:32:30 GMT: %SYS-SP-3-LOGGER_FLUSHED: System was paused for 00:00:00 to ensure console debugging output.
Jun 2 23:32:33 GMT: %SYS-SP-3-LOGGER_FLUSHING: System pausing to ensure console debugging output.
Jun 2 23:32:33 GMT: %SYS-SP-5-RELOAD: Reload requested by Delayed Reload. Reload Reason: Reload Command.
Jun 2 23:32:33 GMT: %OIR-SP-6-CONSOLE: Changing console ownership to switch processor
monitor: command \"boot\" aborted due to user interrupt
Exit at the end of BOOT string
rommon 1 > boot
Please reset before booting
rommon 2 > reset
System Bootstrap, Version 8.5(2)
Copyright (c) 1994-2007 by cisco Systems, Inc.
Cat6k-Sup720/SP processor with 1048576 Kbytes of main memory
[...]
Date: 2011-06-02 22:32:11 UTC fra-5-6k en cours
Date: 2011-06-02 22:06:40 UTC Jun 2 23:04:05 GMT: %EARL-DFC1-2-SWITCH_BUS_IDLE: Switching bus is idle for 5 seconds. The card grant is 0
Jun 2 23:04:05 GMT: %PF_ASIC-DFC1-3-ASIC_DUMP: [0:0x46] JA_DR_RI_0_STA_FCO = 0x3
Jun 2 23:04:05 GMT: %PF_ASIC-DFC1-3-ASIC_DUMP: [0:0x85] JA_DR_RI_1_STA_FCO = 0x0
Jun 2 23:04:05 GMT: %PF_ASIC-DFC1-3-ASIC_DUMP: [0:0x28A] JA_FI_FT_RCV_RATE_SEL = 0xC
Jun 2 23:04:05 GMT: %PF_ASIC-DFC1-3-ASIC_DUMP: [0:0x289] JA_FI_FT_XMIT_SHAPE = 0xFFF
Jun 2 23:04:05 GMT: %PF_ASIC-DFC1-3-ASIC_DUMP: [0:0x4CB] JA_AG_PM_RAM_FULLNESS_0 = 0x0
Jun 2 23:04:05 GMT: %PF_ASIC-DFC1-3-ASIC_DUMP: [0:0x4CC] JA_AG_PM_RAM_FULLNESS_1 = 0x1F
Jun 2 23:04:05 GMT: %PF_ASIC-DFC1-3-ASIC_DUMP: [0:0x4CD] JA_AG_PM_RAM_FULLNESS_2 = 0x0
Jun 2 23:04:05 GMT: %PF_ASIC-DFC1-3-ASIC_DUMP: [0:0x4CE] JA_AG_PM_RAM_FULLNESS_3 = 0x101
Jun 2 23:04:05 GMT: %PF_ASIC-DFC1-3-ASIC_DUMP: [0:0x4F1] JA_AG_RM_RAM_FULLNESS_0 = 0x0
Jun 2 23:04:05 GMT: %PF_ASIC-DFC1-3-ASIC_DUMP: [0:0x4F2] JA_AG_RM_RAM_FULLNESS_1 = 0x0
Jun 2 23:04:05 GMT: %PF_ASIC-DFC1-3-ASIC_DUMP: [0:0x4F3] JA_AG_RM_RAM_FULLNESS_2 = 0x0
Jun 2 23:04:05 GMT: %PF_ASIC-DFC1-3-ASIC_DUMP: [0:0x4F4] JA_AG_RM_RAM_FULLNESS_3 = 0x0
Jun 2 23:04:05 GMT: %PF_ASIC-DFC1-3-ASIC_DUMP: [0:0x5F6] JA_TM_HI_FULLNESS = 0x0
Jun 2 23:04:05 GMT: %PF_ASIC-DFC1-3-ASIC_DUMP: [0:0x5F7] JA_TM_LO_FULLNESS = 0x0
Jun 2 23:04:05 GMT: %PF_ASIC-DFC1-3-ASIC_DUMP: [1:0x46] JA_DR_RI_0_STA_FCO = 0x0
Jun 2 23:04:05 GMT: %PF_ASIC-DFC1-3-ASIC_DUMP: [1:0x85] JA_DR_RI_1_STA_FCO = 0x3
Jun 2 23:04:05 GMT: %PF_ASIC-DFC1-3-ASIC_DUMP: [1:0x28A] JA_FI_FT_RCV_RATE_SEL = 0xC
Jun 2 23:04:05 GMT: %PF_ASIC-DFC1-3-ASIC_DUMP: [1:0x289] JA_FI_FT_XMIT_SHAPE = 0xFFF
Jun 2 23:04:05 GMT: %PF_ASIC-DFC1-3-ASIC_DUMP: [1:0x4CB] JA_AG_PM_RAM_FULLNESS_0 = 0x0
Jun 2 23:04:05 GMT: %PF_ASIC-DFC1-3-ASIC_DUMP: [1:0x4CC] JA_AG_PM_RAM_FULLNESS_1 = 0x101
Jun 2 23:04:05 GMT: %PF_ASIC-DFC1-3-ASIC_DUMP: [1:0x4CD] JA_AG_PM_RAM_FULLNESS_2 = 0x0
Jun 2 23:04:05 GMT: %PF_ASIC-DFC1-3-ASIC_DUMP: [1:0x4CE] JA_AG_PM_RAM_FULLNESS_3 = 0x102
Jun 2 23:04:05 GMT: %PF_ASIC-DFC1-3-ASIC_DUMP: [1:0x4F1] JA_AG_RM_RAM_FULLNESS_0 = 0x0
Jun 2 23:04:05 GMT: %PF_ASIC-DFC1-3-ASIC_DUMP: [1:0x4F2] JA_AG_RM_RAM_FULLNESS_1 = 0x0
Jun 2 23:04:05 GMT: %PF_ASIC-DFC1-3-ASIC_DUMP: [1:0x4F3] JA_AG_RM_RAM_FULLNESS_2 = 0x0
Jun 2 23:04:05 GMT: %PF_ASIC-DFC1-3-ASIC_DUMP: [1:0x4F4] JA_AG_RM_RAM_FULLNESS_3 = 0x0
Jun 2 23:04:05 GMT: %PF_ASIC-DFC1-3-ASIC_DUMP: [1:0x5F6] JA_TM_HI_FULLNESS = 0x0
Jun 2 23:04:05 GMT: %PF_ASIC-DFC1-3-ASIC_DUMP: [1:0x5F7] JA_TM_LO_FULLNESS = 0x0
la carte #1 est morte
Date: 2011-06-02 21:43:23 UTC p19-2-6k
Date: 2011-06-01 06:46:22 UTC fait.
il reste
fra-5
ams-1
ams-5
p19-2
en suite c'est terminé
Date: 2011-06-01 06:04:07 UTC nous allons mettre à jour fra-1-6k
Date: 2011-05-24 05:46:42 UTC lyo-1-6k est up et remis dans la boucle de routage
Date: 2011-05-24 05:33:41 UTC on met à jour lyo-1-6k
Date: 2011-05-24 05:31:10 UTC mad-1-6k up et remis dans la boucle de routage
var-1-6k up et remis dans la boucle de routage
Date: 2011-05-24 05:19:53 UTC mil-1-6k up et remis dans la boucle de routage
Date: 2011-05-24 05:19:39 UTC on met à jour le var-1-6k.
Date: 2011-05-24 05:15:54 UTC on met à jour mad-1-6k
Date: 2011-05-24 05:06:58 UTC on met à jour mil-1-6k
Date: 2011-05-23 11:29:02 UTC fait
Date: 2011-05-23 11:17:19 UTC on met à jour zur-1-6k
Date: 2011-05-23 11:01:17 UTC on met à jour pra-1-6k
Date: 2011-05-20 09:56:08 UTC on va mettre à jour vie-1-6k
Date: 2011-05-11 09:45:26 UTC La mise à jour de lyo-1 est reportée.
Date: 2011-05-11 09:35:33 UTC Nous redirigeons le trafic routé par lyo-1-6k afin de mettre à jour le routeur.
Date: 2011-05-06 01:05:42 UTC gsw-1 est à jour
Date: 2011-05-06 00:24:40 UTC th1 up, on attaque gsw-1-6k
Date: 2011-05-05 23:36:34 UTC Nous commencons l'intervention sur th1-1-6k.
Date: 2011-05-05 21:50:48 UTC il nous reste gsw-1/th1-1/lyo-1/mil-1. On va essayer de
faire ces routeurs cette nuit.
Date: 2011-04-22 04:10:04 UTC vss-1/2/3/4 sont à jour.
Date: 2011-04-09 04:35:25 UTC fini. le probleme HSRP est effectivement fixé.
on va voir sur plus long terme. si tout va bien
on va retenter GLBP.
Date: 2011-04-09 04:25:14 UTC petit probleme de boot. il faut retirer et remettre le disk
dans la carte sup.
Initializing ATA monitor library...
monlib.open(): Open Error = -35
loadprog: error - on file open
Exit at the end of BOOT string
rommon 1 > dir disk0:
Command error complete on disk0:
open: read error...requested 0x4 bytes, got 0xffffffff
trouble reading device magic number
rommon 2 > dir disk0:
Initializing ATA monitor library...
Directory of disk0:
[...]
rommon 3 > reset
Initializing ATA monitor library...
Self extracting the image... [OK]
Date: 2011-04-09 04:14:47 UTC rbx-s3 en cours
Date: 2011-04-09 04:14:38 UTC rbx-s4 fait
Date: 2011-04-09 03:52:25 UTC nous avons un probleme de HSRP sur les routeurs HG
rbx-s3/s4. Nous allons donc mettre à jour IOS sur
ces 2 routeurs pour voir si ça fixe le probleme.
Date: 2011-04-09 03:36:01 UTC rbx-1-6k fait
Date: 2011-04-09 03:13:07 UTC rbx-2-6k fait
Date: 2011-04-09 02:44:09 UTC rbx-1-6k et rbx-2-6k ne vont pas bien suite à la mise à jour
d'IOS. on a de problemes de l'incompatibilitée de version
hardware de certaines cartes avec la version software. Nous
sommes en cours de resolution de ce probleme avec TAC de
cisco.
En parallele une nouvelle version d'IOS est sorti et puisque
le routeur rbx-2-6k a planté
http://travaux.ovh.net/?do=details&id=5328 avec une erreur software, dans le doute on va mettre à jour
rbx-2-6k puis rbx-1-6k avec SXI6. Ceci nous permettra peut etre
fixé un autre probleme qu'on a depuis la mise à jour: toutes
les nuits à 4h00 pile rbx-1-6k est full en CPU pendant quelques
minutes. C'est peut etre lié au probleme hardware ou peut etre
software.
Date: 2011-03-12 05:35:54 UTC c'est fait.
Date: 2011-03-12 05:08:31 UTC on va mettre à jour le p19-7
Date: 2011-03-07 01:40:46 UTC p19-57 fait.
le p19-7 sera fait une autre nuit. il faut qu'on securise
mieux un autre routeur via p19-2 avant de redemarrer p19-7
Date: 2011-03-07 01:14:48 UTC fait
on attaque p19-57
Date: 2011-03-07 00:40:45 UTC C'est parti.
p19-52
Date: 2011-03-07 00:09:36 UTC cette nuit on met à jour 3 routeurs de p19:
- p19-7-6k l'un de 2 routeurs de p19
- p19-52-6k l'un de 3 routeurs de l'hébergement mutualisé et ovh
- p19-57-6k l'un de 3 routeurs de l'hébergement mutualisé et ovh
Pendant le redemarrage et la mise à jour, le routage est assuré
par les autres routeurs. Ceci dit on n'evitera pas de petites
coupures qui sont dues au temps necessaire pour converger le
reseau (à enlever les routes cassées et retrouver les routes
qui fonctionnent encore). environ 30 secondes par ici et là.
Date: 2011-02-25 02:14:18 UTC rbx-s6-6k l'un de 2 routeurs du pCC
Date: 2011-02-25 02:13:51 UTC L'une des cartes 10G sur mar-1-6k est morte.
Feb 25 03:02:10 GMT: %PM_SCP-SP-1-LCP_FW_ERR: System resetting module 3 to recover from error: Linecard received system exception. Errcode =
2509000001
Feb 25 03:02:10 GMT: %OIR-SP-3-PWRCYCLE: Card in module 3, is being power-cycled 'Off (Module Reset due to exception or user request)'
Feb 25 03:02:10 GMT: %C6KPWR-SP-4-DISABLED: power to module in slot 3 set Off (Module Reset due to exception or user request)
Feb 25 03:03:25 GMT: %PM_SCP-SP-1-LCP_FW_ERR: System resetting module 3 to recover from error: Linecard received system exception. Errcode =
2509000001
Feb 25 03:03:25 GMT: %OIR-SP-3-PWRCYCLE: Card in module 3, is being power-cycled 'Off (Module Reset due to exception or user request)'
Feb 25 03:03:25 GMT: %C6KPWR-SP-4-DISABLED: power to module in slot 3 set Off (Module Reset due to exception or user request)
Date: 2011-02-25 01:53:48 UTC mar-1-6k l'un des routeurs ISP à Marseille
Date: 2011-02-25 01:49:01 UTC rbx-s5-6k l'un de 2 routeurs pCC
Date: 2011-02-24 21:38:09 UTC rbx-s4-6k l'un de 2 routeurs de HG