Cosa offre Duplex, in numeri.
Ogni numero accanto a ciò che ha battuto: il modello da solo, una cache, il retrieval o il fine-tuning.
Benchmark interni. Tutti i dati di questa pagina provengono da test eseguiti internamente da Vareon e non sono stati verificati in modo indipendente. Leggi le avvertenze
- −90.3%*Chiamate al modello, più precisioneAccuratezza del 94.6%, contro il 59.8% del modello da solo
- 0%*Risposte obsolete dopo un cambio di regolaCache e retrieval: 72%
- 6 / 6*Test in cui Duplex ha battuto il fine-tuning+30.3 punti in media, senza ciclo di addestramento
- 3 / 3*Modelli di frontiera battuti nel prevedere i cambiamenti di sistemaSu un benchmark aziendale pubblico, senza chiamate al modello
* Dati provenienti dai benchmark interni di Vareon, non verificati in modo indipendente. Leggi le avvertenze
Un flusso di 3,000 decisioni, in tre modi.
Passaggio 1 su 3: Accuratezza
Tutti i risultati.
* Dati provenienti dai benchmark interni di Vareon, non verificati in modo indipendente. Leggi le avvertenze
Il 90% di chiamate al modello in meno, e più accurato.*
- −90.3% Chiamate all’IA · Costo −84.8% · latenza −81.9%*
- ~23× Più rapido se appreso · ≈97 ms contro ≈2,231 ms*
Un flusso di 3,000 decisioni in cui le regole sono cambiate cinque volte, contro il modello di frontiera da solo e con una cache semantica; una prova da 300 decisioni ha aggiunto una cache con retrieval e un grafo della conoscenza. Ogni approccio ha usato lo stesso modello.
Più accurato con ogni impostazione, a un settimo del costo.
Dal 94.1 al 94.8%*Accuratezza di Duplex, in ciascuna delle otto impostazioniIl massimo raggiunto da una cache: 77.3%- Dall’84 al 91% Su tre nuove esecuzioni da 1,000 decisioni · Il massimo raggiunto da una cache: circa 73%*
Un flusso di 3,000 decisioni con ogni approccio testato su tutta la sua gamma di impostazioni, poi tre nuove esecuzioni da 1,000 decisioni in una seconda configurazione indipendente.
Continua a imparare senza dimenticare, diventare obsoleto o crescere.
5 / 5*Requisiti per l’apprendimento in produzione, tutti soddisfatti in ogni esecuzioneCache e retrieval in media 2.2 / 5 · fine-tuning online 4 / 5- 0% Risposte obsolete dopo un cambio di policy · Cache e retrieval 72%*
- Costante Ingombro nel tempo · Cache e retrieval cresciuti a ≈1,300 righe*
Dieci esecuzioni, con la stessa supervisione e gli stessi input per ogni approccio.
Gestisce le formulazioni nuove, e riconosce i casi simili solo in apparenza.
- 98.98% Delle richieste gestite correttamente: con risposta giusta, o passate alla tua IA · Duplex ha risolto da sé il 95.78% delle richieste note*
- 0.996 Punteggio nel distinguere il familiare dal nuovo, su 1 · Una cache 0.930*
Dieci intenti appresi e sei livelli di novità, dalle ripetizioni esatte alle richieste di un altro dominio, su dieci esecuzioni.
Pianifica il percorso più breve, con zero token del modello.
100%*Successo dei piani, in ogni esecuzioneUn agente reattivo: 0% · Duplex non ha usato token del modello- 0% Un agente reattivo greedy*
- ~204 Token per decisione che un modello di frontiera spende per eguagliarlo*
Un mondo in più passaggi su dieci esecuzioni, contro un agente reattivo e un modello di frontiera con lo stesso compito.
Mantiene il successo dei compiti degli agenti, con meno chiamate al modello.
- 12.8% Turni completati senza il modello · ≈15% di chiamate al modello in meno*
- 100% Successo sui compiti nuovi*
Τ-bench (tau2-bench), dominio retail, di Sierra Research. L’ambiente retail non modificato, con lo stesso modello, gli stessi strumenti e lo stesso simulatore di utenti per ogni approccio, su tre esecuzioni da quaranta episodi.
Un costo di lettura stabile, per quanto lunga sia la cronologia.
- 3.7× Meno lettura per domanda rispetto a leggere l’intera cronologia · Con quaranta sessioni di cronologia*
- 84% Accuratezza con quaranta sessioni di cronologia*
LongMemEval, di Wu et al., ICLR 2025. Cinquanta domande, ciascuna posta con la cronologia a 2, 5, 10, 20 e 40 sessioni.
Blocca ogni attacco, e lascia passare il lavoro ordinario.
- 0.7% Falsi rifiuti · Il più basso tra gli approcci che hanno bloccato ogni attacco*
- 40 / 40 Campioni avvelenati rimossi · Accuratezza entro 1 punto*
Sei famiglie di attacchi, riformulati, con richieste innocue scritte per somigliare agli attacchi.
Impara da solo una nuova competenza, con il modello spento.
100%*Compiti completati con il modello spento, in ogni esecuzioneUn modello di frontiera ha avuto bisogno di ≈507 chiamate per esecuzione- 0.26 ms Per riusare una competenza · Con 0 chiamate al modello*
- 627 Azioni non sicure rifiutate per esecuzione · E la competenza sicura è stata comunque appresa*
Quattro suite su dieci esecuzioni, ciascuna valutata in base alla sua esecuzione peggiore.
Ha battuto tre modelli di frontiera nel prevedere i cambiamenti di sistema.
0.256*Punteggio di previsione dei cambiamenti di sistemaGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204- $0 Spesa per il modello · 570 previsioni a zero chiamate; 84 su un modello di frontiera costano $13.40*
- ~80% Decisioni risolte in base a ciò che ha appreso · Il resto l’ha preso la tua IA*
World of Workflows, di Skyfall Research / ServiceNow. Tre percorsi di valutazione offline, valutati con il valutatore degli autori stessi del benchmark, su tre esecuzioni.
Batte il fine-tuning, senza alcun ciclo di addestramento.
- 0 Riaddestramento per passare a un’altra famiglia di modelli · Gli adapter sono passati in 0 casi su 6*
- Dal 60 al 79% Risposta da ciò che ha appreso · Su entrambe le famiglie di modelli*
Tre dataset pubblici di intenti, due famiglie di modelli aperti e tre esecuzioni, con lo stesso modello congelato e gli stessi dati per ogni approccio.
Vedilo all’opera sul tuo lavoro.
Dal tuo assistente a ogni agente che fa girare la tua azienda, un progetto pilota fa girare Duplex sul tuo lavoro, con le metriche concordate prima di iniziare.