Chaque réglage, sur un seul graphique.
Étape 1 sur 4 : Le modèle
Plus précis à chaque réglage, pour un septième du coût.
À chacun de ses huit réglages, Duplex a été plus précis qu’un cache sémantique à n’importe lequel de ses cinq, ou que GPT-5.5 seul à son unique réglage, sur les mêmes 3,000 décisions. Trois exécutions supplémentaires, sur de nouveaux flux, ont montré le même classement.
Benchmarks internes. Tous les chiffres de cette page proviennent de tests menés par Vareon en interne et n’ont pas été vérifiés de manière indépendante. Lire l’avertissement
- 94.1 à 94.8%*Précision de Duplex, sur chacun des huit réglagesLe mieux qu’un cache a atteint : 77.3%
- 84 à 91%*Sur trois nouvelles exécutions de 1,000 décisionsLe mieux qu’un cache a atteint : environ 73%
* Chiffres issus des benchmarks internes de Vareon, non vérifiés de manière indépendante. Lire l’avertissement
Le pire réglage de Duplex bat le meilleur réglage d’un cache.
Le réglage de Duplex le moins précis contre le réglage de cache le plus précis.
Étape 1 sur 2 : Précision
À son réglage le moins précis, Duplex a obtenu 94.1%. Le cache, à son plus précis, a obtenu 77.3%.*
Régler un cache ne fait pas gagner en précision.
Le même cache, de sa correspondance la plus lâche à la plus stricte.
Étape 1 sur 3 : Plus strict
Rendre la correspondance d’un cache plus stricte envoie plus de requêtes au modèle : de 4 appels à 212.*
Le même classement, exécution après exécution.
Trois nouvelles exécutions de 1,000 décisions chacune, dans un second dispositif indépendant.
Étape 1 sur 2 : Précision
Sur trois nouvelles exécutions dans un second dispositif indépendant, Duplex a obtenu 87.7%, et le meilleur cache 73.0%.*
Comment il a été mené.
- Le travail
- Le même flux d’opérations clients que pour le résultat sur le coût : une bonne action parmi environ dix-neuf, ou un refus, avec cinq changements de règle internes.
- Réglages
- Duplex à huit réglages, du plus enclin à répondre lui-même au plus prudent ; un cache sémantique à cinq, de la correspondance la plus lâche à la plus stricte ; GPT-5.5 seul à son unique réglage.
- Échelle
- Un flux de 3,000 décisions, puis trois exécutions indépendantes de 1,000 décisions dans un second dispositif.
- Conditions égales
- Les mêmes réponses enregistrées de GPT-5.5 pour chaque point, les mêmes retours et les mêmes règles de refus.
Ce que cela signifie pour votre travail.
Stable à chaque réglage.
Les huit réglages de Duplex se situent tous entre 94.1% et 94.8% de précision.*
Une précision qu’un cache ne peut atteindre.
Sur l’ensemble de ses réglages, le cache a plafonné à 77.3%, et à 44.2% après un changement de règle.*
Moins cher que le modèle, partout.
Même le réglage le plus prudent de Duplex a coûté moins cher que GPT-5.5 seul, avec 34 points de précision en plus.*
Suivant : Continue d’apprendre sans oublier, se périmer ni grossir.Le lire →
Voyez-le sur votre propre travail.
De votre propre assistant à chaque agent qu’exploite votre entreprise, un pilote fait tourner Duplex sur votre propre travail, avec des indicateurs convenus avant son lancement.