Silence Cop

Description

Silence Cop est une suite d'outils servant à vérifier les silences posés sur les Alertmanagers.

L'objectif de l'outil est de s'assurer qu'il n'y a pas de silence "oublié" pouvant cacher une éventuelle alerte.

Sources : https://git.corp.caascad.com/caascad/applications/silence_cop.

Outillage

Note

11/07/2023 l'outillage n'est pas encore prêt. Un outil temporaire a été développé en attendant : supervision_check_silences.sh.

Lorsque ce projet sera fini, l'outillage sera composé de :

• silence_analyzer (déjà réalisé) pour lister les silences d'un Alertmanager et vérifier leur pertinence ;
• un outil utilisant silence_analyzer exportant le résultat dans un format utilisable par Prometheus ;
• des rules pour alerter lorsqu'un silence n'est plus pertinent.

supervision_check_silences.sh

Warning

05/05/2023 cet outil n'est qu'un POC afin de démontrer ce qui est faisable. Il sert également à vérifier manuellement les silences en attendant l'outillage.

Ce script se connecte à tous les Alertmanagers. Il liste les silences posés et vérifie leur pertinence. Il renvoie la liste des silences filtrée des silences légitimes.

En attendant l'outillage définitif, ce script permet à l'équipe Supervision de vérifier plus facilement et plus rapidement la pertinence des silences.

Pour pouvoir l'utiliser, il faut suivre les instructions du fichier silence_analyzer/README.md.

Format de silences

Il existe 3 types de silences considerés valides :

• Type 1 : référence à un ticket JIRA ;
• Type 2 : silences courts (< 4h) ;
• Type 3 : exceptions.

Silence Cop verifie le respect des règles de chacun de ces types.

Pour plus d'informarmations sur le format des silences ici.