NodeDiskIOSaturation#

Solutions#

Compactor sur NGOT#

Explication du problème#

Le Compactor de Thanos a une activité plus forte que d'habitude tous les 14 jours, et cela tombe systématiquement le jeudi. Cette forte activité est donc justifiée le jeudi.

Cela entraîne cette alerte, ainsi que d'éventuels autres effets indésirables. Ces autres effets (redémarrages de pods) n'ont pas encore été observés sur NGOT (au 20/06/2024).

Note

Des tests pour limiter la bande passante ont été effectués mais apportent plus de problèmes qu'ils n'en résolvent. Pour cette raison, l'équipe Monitoring en charge de ce composant a décidé de privilégier la pose d'un silence.

Identification du problème#

Il faut d'abord identifier si le compactor est bien en cause.

Dans l'alerte, noter les labels cluster et instance (sans le port :49100, l'instance indique le nœud). Ignorer en particulier le namespace qui ne sert à rien ici. On peut définir la variable $CLUSTER. Exemple :
```
CLUSTER=kub-53
```
Vérifier que le compactor tourne bien sur le nœud incriminé :
```
kswitch "${CLUSTER}"
kubectl get pod -A -o wide | grep obs-corp | grep compact
```
Le résultat ressemble à ceci :
```
monitoring-stack-corp-obs-corp-prd   thanos-compactor-0          1/1     Runn
ing    0    37d   172.16.0.63    10.0.30.110   <none>      <none>
```
Si le label instance était 10.0.30.110:49100, on constaterait ici que le compactor tourne bien sur le noeud qui retourne l'alerte.

Résolution#

Lorsqu'il a bien été identifié que le compactor tourne bien sur le nœeud où survient l'alerte, deux cas se présentent :

on est jeudi :
1. poser un silence sur l'alerte avec une durée de 24h. Parmi les sélecteurs, il est important d'indiquer l'instance (en plus de l'alerte, du cluster et du client) ;
2. l'alerte devrait disparaître dans la journée. Si elle revient le lendemain, l'incident est plus sérieux et devra être analysé ;
3. aucune autre action ne sera menée ; l'alerte devrait disparaître d'elle-même avant l'expiration du silence.
on est un autre jour de la semaine :
- soit le compactor a une activité inhabituelle connue (exemple : un dysfonctionnement le jeudi précédent, qui a été réparé ultérieurement, et qui en entraîne la même activité qu'un jeudi). La solution pour le jeudi peut alors être envisagée ;
- soit le compactor a une activité inhabituelle non connue. Il faut alors investiguer ;
- soit il s'agit d'un autre composant que le compactor. Le hasard a juste fait que le compactor se trouvait sur le même nœud que la cause du problème, mais les deux n'ont peut-être rien à voir ensemble.