L’historique double. La lecture se stabilise.
Étape 1 sur 4 : L’historique
Un coût de lecture stable, quelle que soit la longueur de l’historique.
LongMemEval pose des questions sur de longs historiques de conversation entre une personne et un assistant. À mesure que l’historique s’allongeait jusqu’à quarante sessions, la lecture derrière chaque réponse de Duplex s’est stabilisée, et là où un fait avait changé, il a répondu avec le fait actuel.
LongMemEval, par Wu et al., ICLR 2025. Le benchmark →
Benchmarks internes. Tous les chiffres de cette page proviennent de tests menés par Vareon en interne et n’ont pas été vérifiés de manière indépendante. Lire l’avertissement
- 96%*Réponses à jour là où un fait avait changéLe nouveau fait, pas l’ancien
- 3.7×*Moins de lecture par question qu’en lisant tout l’historiqueÀ quarante sessions d’historique
- 84%*Précision à quarante sessions d’historique
* Chiffres issus des benchmarks internes de Vareon, non vérifiés de manière indépendante. Lire l’avertissement
Étape 1 sur 4 : Énoncé
Tôt dans l’historique, un fait est énoncé : l’équipe utilise le fournisseur A.*
Comment il a été mené.
- Benchmark
- LongMemEval, par Wu et al. (ICLR 2025), à partir de la version publique nettoyée.
- Le travail
- Répondre à une question sur un long historique de conversation entre une personne et un assistant.
- Historiques
- Les sessions contenant la réponse, mêlées à des sessions sans rapport tirées d’un ensemble de 19,195, à 2, 5, 10, 20 et 40 sessions.
- Échelle
- 50 questions à cinq tailles d’historique : 250 réponses pour chaque approche.
- Modèles
- GPT-5.5 a lu ce que chaque approche fournissait et a rédigé chaque réponse ; un modèle distinct les a jugées.
Ce que cela signifie pour votre travail.
Le travail au long cours reste abordable.
De vingt à quarante sessions, l’historique a doublé, et le coût de chaque réponse est resté à $0.032.*
Les réponses suivent ce qui a changé.
Là où un fait avait changé, Duplex a répondu avec le fait actuel dans 96% des cas.*
Il répond, plutôt que de s’abstenir.
Duplex a refusé de répondre à 5 des 250 questions, et a répondu aux autres.*
Suivant : Bloque toutes les attaques, et laisse passer le travail ordinaire.Le lire →
Voyez-le sur votre propre travail.
De votre propre assistant à chaque agent qu’exploite votre entreprise, un pilote fait tourner Duplex sur votre propre travail, avec des indicateurs convenus avant son lancement.