Alertmanager : ajout receiver

Contexte

Il s'agit d'ajouter un receiver dans la configuration d'Alertmanager.

CAASCHR

Champ	Description
Titre	[PRD] Alertmanager : ajout receiver
Zones	La zone cliente
Durée	En général 1h

Dans la description, bien revoir ces points :

• le client
• le receiver ajouté
• le ticket CW de demande cliente
• la procédure de vérification
• notifications_target name : XXXX

Description

h2. Zones

svc-monitoring-stack-client-<client>

h2. Changement

On modifie la configuration du receivers pour <client>.
Il s'agit d'ajouter un webhook mattermost.
*Note* : Pas de CAASCHR staging, car c'est un changement spécifique pour un client.

h2. Déploiement

h3. Création du secret mattermost dans Vault

On met l'url mattermost dans Vault comme demandé dans ce ticket CW-xxxx.

h3. envs-ng

Faire  :
{code}
trackbone plan -c alertmanager -z svc-monitoring-stack-client-<client>
{code}

Vérifier que le résultat est correct et attendu. 

Faire un {{trackbone apply}} dans la MR envs-ng.

h2. Vérifications

h3. Configuration

{code}
kswitch svc-monitoring-stack-client-<client>
{code}

{code}
kubectl -n monitoring-stack-client-obs-<client> exec -it alertmanager-0 -- cat /tmp/alertmanager/alertmanager.yml | grep -A4 <notifications_target_name_XXXX>
{code}

*Résultat attendu*: on veut obtenir des lignes concernant la notification_target.

h3. Grafana 

Vérifier dans [Grafana|https://grafana.obs-corp-prd.cloudservicesfactory.com] qu'il n'y a pas d'erreurs de notifications.
Requête :
{code}
alertmanager_notifications_failed_total{obs_client="<client>", integration="slack"}
{code}

h3. Logs

{code}
kubectl logs -n monitoring-stack-client-obs-<client> alertmanager-0
kubectl logs -n monitoring-stack-client-obs-<client> alertmanager-1
{code}

*Résultat attendu*: pas d'erreur dans les logs.

h2. Fin

Merger la MR envs-ng.