« Personne ne veut un agent, les gens veulent résoudre quelque chose. »
Les plateformes d'agents commencent en général par faire construire un agent, avec son prompt, ses outils et ses droits. Disciple part du travail lui-même : on le décrit, et le reste s'organise en trois niveaux.
Chaque exécution a un budget maximum, en jetons et en temps.
Dix sessions de test
Des personas (cinq profils de métier et un testeur de recette) ont joué les sessions de test, et d'une session à l'autre, le prototype a gagné en fiabilité.
- sessions 1 et 2Lancé en ligne de commande, l'architecte n'avait pas accès aux outils natifs et posait des questions au lieu d'agir. Les appels d'outils, simulés en JSON dans le texte, lui ont rendu la main : chaque persona obtient son plan en un seul échange.
- session 3Sur les gros plans, une fenêtre glissante sur l'historique fait passer les lots de 3/5 et 3/6 tâches réussies à 6/6, 7/7 et 6/6.
- session 4Cinq exécutions pour 1,53 $ au total.
- session 7Première exécution complète, en trois minutes environ.
- session 956/56 vérifications de recette.
- session 10207/216 sur treize scénarios, avec des évaluations en trois couches qui notent le résultat plutôt que le chemin suivi.
En dix jours et 84 commits, le prototype a appris à conduire l'échange avec l'architecte, produire un plan, lancer les tâches, présenter les résultats, garder une mémoire, et s'est doté d'une intégration continue. Son backlog compte 47 idées, dont une trentaine implémentées en une seule journée, le 24 mars.