Aller au contenu

Grafana mutualisé : Suppression d'une datasource d'une instance Grafana mutualisé / Masquer les alertes définies dans Prometheus#

Contexte#

L’objectif est soit :

  • de supprimer une datasource Alertmanager d’une instance Grafana mutualisée,
  • de masquer les alertes définies dans Prometheus,
  • ou de faire les deux.

Nomenclature#

Pour une demande de ce genre par exemple :

Merci de supprimer la datasource Alertmanager du client test06 de l’instance de Grafana mutualisé devteam01. ou Nous souhaitons que les alertes définies dans Prometheus ne soient plus visibles. ou les deux.

Nous nommerons :

  • <CLIENT> le client qui possède le Grafana mutualisé, ici devteam01.
  • <DATASOURCE> le client qui possède les métriques et alertes à observer depuis le Grafana Mutualisé, autrement dit, la datasource à supprimer, ici test06.

CAASCHR#

Champ Description
Titre [PRD] Grafana mutualisé devteam01: suppression datasource test06
Zones La zone du client (datasource) , la Grafana mutualisé
Durée En général 1h

Dans la description, bien revoir ces points :

  • les objectifs
  • la procédure de vérification

Description#

h2. Zones

svc-grafana-client-devteam01

h2. Changement

On supprime la datasource pour test06 dans le Grafana Mutualisé de devteam01.
ou 
on masque les alertes définies dans Prometheus
ou les deux.

*Note* : Pas de CAASCHR staging, car c'est un changement spécifique pour un client.

h2. Déploiement

Indiquer {{trackbone apply ngot}} dans la MR.

En cas d'échec dans la MR, on peut lancer les commandes à la main:
{code}
trackbone apply -c grafana -c thanos-query -c thanos-certificates -z svc-grafana-client-devteam01
{code}

h2. Vérifications

> Les vérifs sont variables selon les options demandées par le client.

Vérification pour l'option "Rendre invisibles les alertes définies dans Prometheus" :
Se connecter au Grafana du client https://grafana.obs-devteam01.cloudservicesfactory.com.

# Dans l'onglet {{Alerting -> Alert rules}}, vérifier qu'il n'y a plus de définitions d'alertes.

Vérification pour l'option "Suppression de datasource" :
# Dans l'onglet {{Alerting -> Active notifications}}, vérifier l'absence de la datasource test06 (en haut à droite, {{Choose Datasource}}).

Cette étape est nécessaire uniquement si une source de données a été supprimée, mais qu’elle apparaît encore dans Grafana.

Modifiez la configuration de Grafana :

{code}
kswitch svc-grafana-client-devteam01
kubectl -n grafana-client-obs-devteam01 edit cm grafana-obs-devteam01
svc-grafana-client-devteam01
{code}

Vous devriez trouver une section `data -> datasources.yaml -> deleteDatasources`. Dans cette section, vous constaterez que la source de données supprimée est absente (ce qui est normal à ce stade).

1. Ajoutez manuellement la source de données à supprimer dans la section `deleteDatasources`.

{code}
data:
  datasource.yaml:
    deleteDatasources:
      - name: alertmanager-test06
        orgId: 1
{code}

2. Redémarrez ensuite Grafana (en supprimant le pod).
3. Dans Grafana, vérifiez que la source de données a bien disparue.
4. Exécutez à nouveau la commande trackbone apply pour restaurer la ConfigMap (et supprimer la source de données de la section deleteDatasources).
5. Redémarrez une nouvelle fois Grafana.
6. Dans Grafana, vérifiez de nouveau que la source de données a bien été supprimée.

h2. Fin

Merger la MR envs-ng.