Outils sysadminActualité

Empirik : évaluer un agent d’infrastructure

Sur cette page
  1. Ce que l’entreprise annonce
  2. Tester la dépendance absente du schéma
  3. Un pilote avec des critères mesurables
  4. Ce qui n’est pas établi ici
  5. Sources

Empirik a annoncé plus de 21 millions de dollars de financement et un agent d’infrastructure le 1er septembre. Sa promesse : expliquer les conséquences d’un changement avant son déploiement. Cela reste à évaluer, sans garantie démontrée contre les pannes.

Scénario d’évaluation fictif : un changement d’adresse de base touche une API et une tâche de facturation non documentée. Ce n’est ni une capture d’Empirik ni un résultat mesuré.
Scénario d’évaluation fictif : un changement d’adresse de base touche une API et une tâche de facturation non documentée. Ce n’est ni une capture d’Empirik ni un résultat mesuré. Graphique : PeopleAreGeek. Source des données.
Agrandir l’image

Ce que l’entreprise annonce

Le billet de lancement de son directeur général Kartik Chandrayana nomme Sequoia et S32 en tête du financement, avec Canapi Ventures et Alumni Ventures. S32 manquait dans notre précédente version. L’entreprise dit être déjà utilisée en production, notamment chez Guardant Health ; cette référence client ne constitue pas une mesure indépendante de précision.

La présentation du produit part d’un changement proposé, le projette sur l’environnement réel et retourne les services concernés, leurs responsables et les éléments justificatifs. L’exécution dépend des autorisations accordées par le client. Acheter un outil d’analyse ne signifie pas lui donner le droit de modifier la production.

Tester la dépendance absente du schéma

Prenons une migration fictive : un ingénieur change l’adresse d’une base de données, adapte correctement l’API, mais une tâche de facturation nocturne conserve l’ancienne adresse. Une analyse utile doit retrouver cette tâche et expliquer sa dépendance. Lister seulement les ressources présentes dans la demande de modification manquerait la panne.

Le schéma utilise cet exemple inventé pour montrer ce qu’il faut évaluer. Ce n’est ni une capture d’Empirik ni un résultat obtenu avec ce produit. Demandez quelle configuration, connexion observée ou trace d’événement justifie chaque liaison. Vérifiez aussi la fraîcheur de ces informations : un graphe détaillé peut être périmé.

Un pilote avec des critères mesurables

Commencez sur un périmètre limité, avec un rôle consultatif. Choisissez des changements passés, certains ayant provoqué un incident et d’autres sans conséquence, dont vous connaissez les résultats. Reconstituez uniquement les informations disponibles avant chaque déploiement : fournir le compte rendu de la panne future fausserait l’exercice.

Distinguez trois résultats : changements dangereux manqués, changements bénins signalés et preuves réellement vérifiables par le relecteur. Mesurez également le temps de revue. Une alerte juste mais reçue après l’approbation ne sert pas de garde-fou au déploiement.

Ajoutez enfin des dépendances volontairement non documentées dans un environnement d’essai. Vous évaluerez ainsi la découverte, au-delà de la reformulation du code d’infrastructure. Fixez à l’avance le taux d’erreur et les limites de permission acceptables pour votre équipe, indépendamment du vocabulaire commercial.

Ce qui n’est pas établi ici

Nous n’avons ni réalisé ce pilote ni mesuré le taux de faux positifs. Un financement et des clients annoncés attestent d’une activité et de ses promesses ; ils ne démontrent pas qu’un agent anticipe toutes les pannes. L’étape utile reste un essai délimité, avec des erreurs observables et une décision humaine avant déploiement.

Sources

Vérification de l’annonce, correction de la liste des investisseurs et remplacement des garanties de prédiction par une méthode d’évaluation.