Aller au contenu

ConcourseWorkerHighUtilization#

Le nombre de conteneurs présents sur le worker concourse est trop élevé (> 200).

Analyse du problème#

Vérifier si des pipelines ne sont pas coincées. Si elles ne se terminent jamais, cela peut conduire à une augmentation progressive du nombre de conteneurs/tâches jusqu'à saturation (observable sur Grafana).

Si un seul worker est concerné, vérifier les ressources de la VM (CPU, mémoire, disque...)

Solutions#

  • Si l'utilisation des ressource est justifiée (tout fonctionne mais il y a de plus en plus de travail demandé à la CI) : Il faut envisager l'ajout d'un noeud concourse supplémentaire.
  • Sinon, une relance du service concourse sur le/les workers est à envisager, ainsi qu'un redémarrage du concourse-web associé.

Il est possible de forcer la purge des anciens conteneurs sur un noeud.