Aller au contenu

Gestion des silences avec Karma#

Introduction#

Karma est l'outil qui permet de visualiser les alertes remontées par Alertmanager.

Cet outil est accessible depuis les URL suivantes :

L'affichage des alertes#

Karma permet d'exposer plusieurs informations sur l'alerte :

  • la sévérité ;
  • les labels de la métrique définie dans l'alerte ;
  • une description ;
  • une aide à la résolution (help_alert, runbook...).

Ainsi, à l'aide des labels nous pouvons configurer Karma pour classer l'affichage des alertes par client ou par environnement par exemple.

Filtres#

Karma met à disposition des filtres pour faciliter la recherche, nous pouvons les distinguer des labels remontés par la définition de l'alerte à l'aide du caractère spécial @.

Exemples des filtres disponibles dans Karma :

Filtre Description Example
@state Filtre par état des alertes. @state=active / @state=suppressed
severity Filtre par degré de criticité des alertes. {severity=warning ; severity=critical}
@age Filtre les alertes avec leurs ages. @age>10m / @age>1h
@alertmanager Filtre par environement. @alertmanager=infra-stg
@limit Limiter le nombre des alertes affichées. @limit=50
@receiver Filtre par type de receiver. @receiver=rocketchat_astreinte / @receiver=email_critical
@silence_author Filtre par auteur du silence. @silence_author=~Caascad Team
@silence_id Filtre par silence id. @silence_id=ff88c263-f234-4d7a-a24f-40fa919c3364
@silence_ticket Filtre par ticket Jira. @silence_ticket=~CAASINC-1401

Ajouter un silence de type Downtime#

Pour ajouter un silence de type Downtime sur une alerte en cours, cliquez sur 1 ou 2 (cf. image ci-dessous).

Il est possible de poser un silence sur le groupe des alertes concernées ou seulement sur une seule alerte :

  1. Silence this group
  2. Silence this alert

Un pop-up va s'ouvrir pour configurer le silence (comme ci-dessous).

  1. Alertmanagers sélectionné ;
  2. Filtres labels : les labels qui permettent d'identifier l'alerte. Exemple: namespace, obs_client ;
  3. Durée de l'alerte : la durée de vie du silence. Au-delà de cette période, l'alerte devrait cesser d'être active. Si nécessaire, le silence devra être prolongé ;
  4. Auteur et commentaire : indiquez "PF Team" et "votre explication avec un ticket JIRA si possible".

Si tout est ok, cliquez sur Preview puis Submit.

Ajouter un silence de type Acknowledgment#

L'Acknowledgment n'est pas une fonctionnalité native de Karma, nous utilisons le daemon kthxbye en complément d'Alertmanager. Il permet de prolonger automatiquement la durée des silences si l'alerte est toujours levée. Pour cela, kthxbye crée un nouveau silence d'une durée de 15 min avant l'expiration du précédent silence.

Pour ajouter un Acknowledgment, vous pouvez reprendre le processus de downtime ci-dessus et modifier les points suivants :

  1. Durée : 15 min (il s'agit de la durée minimum garantie du silence)
  2. Comment : ACK! CAASINC-1234

Tip

La différence entre un Downtime et un Acknowledgment est ce ACK! que l'on retrouve en début de commentaire.

Il est également possible d'ajouter un silence en utilisant la cloche en haut à droite de l'UI.

Rechercher un silence#

La recherche de silence s'effectue à l'aide de la cloche en haut à droite de l'UI, puis cliquer sur Browse :

Exemples d'ajout silences#

Silence sur une zone#

Pour poser un silence sur toutes les alertes générées par les composants qui se trouvent sur la même zone :

Étape 1

Dans Karma filtrez les alertes concernées: state=active, obs_client=xxxx ;

Il est possible de poser un silence sur le groupe des alertes concernées ou seulement sur une seule alerte :

  1. Silence this group

  2. Silence this alert

Étape 2

Un pop-up va s'ouvrir pour configurer le silence (comme ci-dessous) :

  1. Filtres labels : le label qui permet d'identifier la zone. Exemple: obs_client ;

  2. Durée de l'alerte : la durée de vie du silence. Au-delà de cette période, l'alerte devrait cesser d'être active. Si nécessaire, le silence devra être prolongé ;

  3. Auteur et commentaire : indiquez "PF Team" et "votre explication avec un ticket JIRA si possible".

Étape 3

Sauvegardez :

  1. Cliquer sur Preview ;
  2. Contrôlez les alertes concernées par le silence ;
  3. Cliquer sur Submit.

Silence sur un namespace#

Pour poser un silence sur toutes les alertes générées par les composants qui se trouvent sur le même namespace :

Étape 1

Dans Karma filtrez les alertes concernées: state=active, obs_client=xxxx et namespace=<ns> ;

Il est possible de poser un silence sur le groupe des alertes concernées ou seulement sur une seule alerte :

  1. Silence this group

  2. Silence this alert

Étape 2

Un pop-up va s'ouvrir pour configurer le silence (comme ci-dessous) :

  1. Filtres labels : les labels qui permettent d'identifier l'alerte. Exemple: namespace, obs_client ;

  2. Durée de l'alerte : la durée de vie du silence. Au-delà de cette période, l'alerte devrait cesser d'être active. Si nécessaire, le silence devra être prolongé ;

  3. Auteur et commentaire : indiquez "PF Team" et "votre explication avec un ticket JIRA si possible".

Étape 3

Sauvegardez :

  1. Cliquer sur Preview ;
  2. Contrôlez les alertes concernées par le silence ;
  3. Cliquer sur Submit.

Silence sur un type d'alarme#

Pour poser un silence sur les alertes du même type :

Étape 1

Dans Karma filtrez les alertes concernées: state=active, obs_client=xxxx et alertname=<ns> ;

Il est possible de poser un silence sur le groupe des alertes concernées ou seulement sur une seule alerte :

  1. Silence this group

  2. Silence this alert

Étape 2

Un pop-up va s'ouvrir pour configurer le silence (comme ci-dessous) :

  1. Filtres labels : les labels qui permettent d'identifier l'alerte. Exemple: namespace, obs_client ;

  2. Durée de l'alerte : la durée de vie du silence. Au-delà de cette période, l'alerte devrait cesser d'être active. Si nécessaire, le silence devra être prolongé ;

  3. Auteur et commentaire : indiquez "PF Team" et "votre explication avec un ticket JIRA si possible".

Étape 3

Sauvegardez :

  1. Cliquer sur Preview ;
  2. Contrôlez les alertes concernées par le silence ;
  3. Cliquer sur Submit.