Ogni impostazione, in un solo grafico.
Passaggio 1 su 4: Il modello
Più accurato con ogni impostazione, a un settimo del costo.
In tutte e otto le sue impostazioni, Duplex è stato più accurato di una cache semantica in qualsiasi delle sue cinque, o di GPT-5.5 da solo nella sua unica, sulle stesse 3,000 decisioni. Altre tre prove, su flussi nuovi, hanno mostrato lo stesso ordine.
Benchmark interni. Tutti i dati di questa pagina provengono da test eseguiti internamente da Vareon e non sono stati verificati in modo indipendente. Leggi le avvertenze
- Dal 94.1 al 94.8%*Accuratezza di Duplex, in ciascuna delle otto impostazioniIl massimo raggiunto da una cache: 77.3%
- Dall’84 al 91%*Su tre nuove esecuzioni da 1,000 decisioniIl massimo raggiunto da una cache: circa 73%
* Dati provenienti dai benchmark interni di Vareon, non verificati in modo indipendente. Leggi le avvertenze
Duplex nella sua impostazione peggiore batte una cache nella sua impostazione migliore.
L’impostazione di Duplex meno accurata contro l’impostazione della cache più accurata.
Passaggio 1 su 2: Accuratezza
Nella sua impostazione meno accurata, Duplex ha ottenuto il 94.1%. La cache, nella più accurata, il 77.3%.*
Regolare una cache non la rende più accurata.
La stessa cache, dalla corrispondenza più permissiva alla più rigorosa.
Passaggio 1 su 3: Più rigida
Rendere più rigida la corrispondenza di una cache manda più richieste al modello: da 4 chiamate a 212.*
Lo stesso ordine, esecuzione dopo esecuzione.
Tre nuove esecuzioni da 1,000 decisioni ciascuna, in una seconda configurazione indipendente.
Passaggio 1 su 2: Accuratezza
In tre nuove prove in una seconda configurazione indipendente, Duplex ha ottenuto l’87.7%, e la cache migliore il 73.0%.*
Come è stato condotto.
- Il lavoro
- Lo stesso flusso di operazioni con i clienti del risultato sui costi: un’azione giusta su circa diciannove, o un rifiuto, con cinque cambi di regole interne.
- Impostazioni
- Duplex con otto impostazioni, dalla più propensa a rispondere da sé alla più prudente; una cache semantica con cinque, dalla corrispondenza più permissiva alla più rigorosa; GPT-5.5 da solo con la sua unica.
- Scala
- Un flusso di 3,000 decisioni, poi tre esecuzioni indipendenti da 1,000 decisioni in una seconda configurazione.
- Condizioni uguali
- Le stesse risposte registrate di GPT-5.5 per ogni punto, lo stesso riscontro e le stesse regole di rifiuto.
Cosa significa per il tuo lavoro.
Stabile a ogni impostazione.
Tutte e otto le impostazioni di Duplex hanno ottenuto un’accuratezza tra il 94.1% e il 94.8%.*
Un’accuratezza che una cache non può raggiungere.
Nelle sue impostazioni, la cache si è fermata al massimo al 77.3%, e al 44.2% dopo un cambio di regola.*
Più economico del modello, ovunque.
Anche l’impostazione più prudente di Duplex è costata meno di GPT-5.5 da solo, ed è stata più accurata di 34 punti.*
Segue: Continua a imparare senza dimenticare, diventare obsoleto o crescere.Leggilo →
Vedilo all’opera sul tuo lavoro.
Dal tuo assistente a ogni agente che fa girare la tua azienda, un progetto pilota fa girare Duplex sul tuo lavoro, con le metriche concordate prima di iniziare.