PrometheusOutOfOrderTimestamps

Troubleshooting

Vérifier les logs Prometheus. Requête dans Grafana :

{container="prometheus", namespace="monitoring-stack-client-obs-<client_name>"} |= "order" 

Known cases

Cas connus avec Prometheus Remote write

Des solutiosn sont décrites ici.

Désynchronisation entre les resources définies dans le repo du client pour le Gitops Workflow et les resources déployées sur le cluster client

Vérification

Cela peut concerner deux types de resources : les probes et les prometheusrules (uniquement les recordingrules).

Avec les logs, le type de resource est identifiable facilement.

Pour vérifier qu'on est bien dans ce cas là, faire les opérations suivantes : - lister dans le repo Gitops Workflow toutes les probes ou prometheusrules - lister les ressources déployées sur le cluster :

kswitch svc-monitoring-stack-client-<client_name>
kubectl get probes -n probes-obs-<client_name>
kubectl get rules -n rules-obs-<client_name>

- faire la différence entre les deux listes - s'il n'y a pas de différence : c'était une fausse piste - s'il y a une différence : on est potentiellement sur la bonne voie

Solution

Le client doit : - lancer un job de désinstallation pour les probes ou prometheusrules - puis les redéployer

Mail au client (exemple avec les probes) :

Bonjour,

J'espère que vous vous portez bien.

Nous avons constaté une erreur dans le Prometheus de votre environnement de supervision. Cette erreur survient quand vous supprimez un fichier ou le renommez sans lancer le job de désinstallation : il restera alors déployé sur le cluster.

Pour supprimer les probes, veuillez suivre ce lien : https://cs-factory.docs-oab.si.fr.intraorange/documentation/supervision/comet/monitoring/pipelines/#stage-uninstall-uninstallprobes

Il vous suffit ensuite de lancer le job de désinstallation des probes comme indiqué dans la documentation, puis de lancer un job pour les redéployer.

Pour le déploiement, une méthode consiste à vous rendre sur le lien (https://sourcehub.orange-business.com/cs-factory/cs-factory-environments/<Your_Zone>/-/blob/main/artifacts/myjob_id.txt?ref_type=heads), de modifier `myjob_id`, puis d'effectuer une validation (commit).

Nous restons à votre entière disposition pour toute interrogation ou précision complémentaire.

Cordialement,
Équipe Support