Prevedere cosa cambia dopo.
Passaggio 1 su 4: Un’operazione
Ha battuto tre modelli di frontiera nel prevedere i cambiamenti di sistema.
World of Workflows è un benchmark aziendale pubblico costruito su ServiceNow: dopo ogni operazione, prevedere come cambiano i record del sistema. Duplex ha imparato i flussi di lavoro strada facendo, senza chiamate al modello, ed è stato valutato con il codice del benchmark stesso.
World of Workflows, di Skyfall Research, su ServiceNow.
Benchmark interni. Tutti i dati di questa pagina provengono da test eseguiti internamente da Vareon e non sono stati verificati in modo indipendente. Leggi le avvertenze
- 0.256*Punteggio di previsione dei cambiamenti di sistemaGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204
- $0*Spesa per il modello570 previsioni a zero chiamate; 84 su un modello di frontiera costano $13.40
- ~80%*Decisioni risolte in base a ciò che ha appresoIl resto l’ha preso la tua IA
* Dati provenienti dai benchmark interni di Vareon, non verificati in modo indipendente. Leggi le avvertenze
Davanti a GPT-5.1, Gemini 3 Pro e Claude Sonnet 4.5.
Previsione dello stato su tre prove, confrontata caso per caso; il vantaggio è significativo rispetto a tutti e tre.
Passaggio 1 su 2: Il punteggio
Nel prevedere come cambiano i record, Duplex ha ottenuto 0.256, davanti a Gemini 3 Pro con 0.205, Claude Sonnet 4.5 con 0.204 e GPT-5.1 con 0.166.*
Prima Duplex, dietro il tuo modello.
Duplex risponde a ciò che può e passa il resto a GPT-5.6.
Passaggio 1 su 2: Tutto al modello
Inviare tutte le 806 decisioni a GPT-5.6 costerebbe circa $129, a ogni prova.*
Come è stato condotto.
- Benchmark
- World of Workflows, di Skyfall Research, costruito su ServiceNow: pubblico, con licenza MIT.
- Il lavoro
- Prevedere come cambiano i record dopo un’operazione, e capire quale operazione ha causato un cambiamento.
- Punteggio
- Il codice di valutazione del benchmark stesso, non modificato, verificato rispetto ai numeri pubblicati dagli autori.
- Come ha lavorato Duplex
- Ogni passaggio previsto prima che venisse mostrata la risposta, imparando solo dai passaggi già valutati, senza chiamate al modello.
- Confrontato con
- I file di previsione pubblicati dagli autori del benchmark per GPT-5.1, Gemini 3 Pro e Claude Sonnet 4.5.
- Scala
- Tre prove da 570 previsioni, con test di significatività appaiati sugli stessi casi.
Cosa significa per il tuo lavoro.
Impara come si comportano i tuoi sistemi.
Duplex ha previsto i cambiamenti dei record di ServiceNow meglio di tre modelli di frontiera.
Senza costi di modello.
570 previsioni per esecuzione, senza chiamate al modello.*
Il tuo modello dove serve.
Rispondendo per primo con GPT-5.6 alle spalle, Duplex ha preso circa l’80% delle decisioni e ha ridotto il conto da circa $129 a $29.*
Segue: Batte il fine-tuning, senza alcun ciclo di addestramento.Leggilo →
Vedilo all’opera sul tuo lavoro.
Dal tuo assistente a ogni agente che fa girare la tua azienda, un progetto pilota fa girare Duplex sul tuo lavoro, con le metriche concordate prima di iniziare.