Les tâches d’agents continuent de réussir, avec moins d’appels au modèle.
Τ-bench place un agent d’IA au service client d’un magasin, avec les propres outils du magasin, sa politique écrite et des clients qui changent d’avis. Duplex a travaillé aux côtés du modèle de l’agent à chaque tour de chaque conversation.
Τ-bench, par Sierra Research. Le benchmark →
Benchmarks internes. Tous les chiffres de cette page proviennent de tests menés par Vareon en interne et n’ont pas été vérifiés de manière indépendante. Lire l’avertissement
- 83.3%*Tâches réussiesLe modèle à chaque tour : 82.5%
- 12.8%*Tours menés sans le modèle≈15% d’appels au modèle en moins
- 100%*Réussite sur les nouvelles tâches
* Chiffres issus des benchmarks internes de Vareon, non vérifiés de manière indépendante. Lire l’avertissement
Une conversation, tour par tour.
Étape 1 sur 6 : Un client
Aussi performant qu’un appel au modèle à chaque tour.
La réussite des tâches sur 120 conversations, et sur les tâches que l’agent n’avait jamais vues.
Étape 1 sur 2 : Chaque tâche
Duplex a mené à bien 83.3% des tâches. Le modèle à chaque tour, 82.5%.*
Il ne saute un appel que sur les tours qu’il a appris.
Sur 100 tours, qui a accompli chacun d’eux, et si la tâche a tout de même réussi.
Étape 1 sur 3 : Chaque tour
Avec le modèle à chaque tour, chaque tour est un appel, et 82.5% des tâches réussissent.*
Moins d’appels et des tâches terminées, à la fois.
Les tours menés sans le modèle, face à la réussite des tâches, pour chaque approche du test.
Étape 1 sur 3 : Chaque appel
Quatre approches appellent le modèle à chaque tour ; leur réussite va de 83.3% à 0.8%.*
Comment il a été mené.
- Benchmark
- Τ-bench (tau2-bench 1.0), domaine retail, par Sierra Research : public et open source.
- Le travail
- Des conversations à plusieurs tours avec des clients simulés d’un commerce de détail, à l’aide des outils du magasin et selon sa politique écrite.
- Échelle
- Trois exécutions de quarante conversations pour chaque approche.
- Modèles
- GPT-5.5 comme agent pour toutes les approches ; GPT-4.1-mini jouait le client.
- Comparé à
- Le modèle à chaque tour, une couche de mémoire, la recherche documentaire, un cache sémantique et un contexte de graphe de connaissances.
- Conditions égales
- Les mêmes outils, la même politique, le même client et le même modèle d’agent pour toutes les approches ; Duplex fonctionnait en tant que service en production.
Ce que cela signifie pour votre travail.
Vos agents mènent toujours la mission à bien.
La réussite des tâches a égalé celle du modèle à chaque tour, tandis que Duplex menait les tours qu’il avait appris.
Le travail nouveau est toujours fait.
Duplex a terminé toutes les nouvelles tâches du test : ce qu’il n’a pas appris va à votre modèle.
Des économies qui laissent les conversations intactes.
Duplex ne saute un appel que sur un tour qu’il a appris. Un cache a rejoué des réponses stockées en pleine conversation et a mené à bien 8.3% des tâches.*
Suivant : Un coût de lecture stable, quelle que soit la longueur de l’historique.Le lire →
Voyez-le sur votre propre travail.
De votre propre assistant à chaque agent qu’exploite votre entreprise, un pilote fait tourner Duplex sur votre propre travail, avec des indicateurs convenus avant son lancement.