Å forutsi neste endring.
Steg 1 av 4: En operasjon
Slo tre ledende modeller i å forutsi systemendringer.
World of Workflows er en offentlig benchmark for bedriftssystemer bygget på ServiceNow: etter hver operasjon skal man forutsi hvordan oppføringene i systemet endres. Duplex lærte arbeidsflytene underveis, uten modellkall, og ble vurdert av benchmarkens egen kode.
World of Workflows, av Skyfall Research, på ServiceNow.
Interne benchmarker. Alle tallene på denne siden kommer fra tester som Vareon selv har kjørt, og er ikke uavhengig verifisert. Les ansvarsfraskrivelsen
- 0.256*Poengsum for å forutsi systemendringerGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204
- $0*Modellkostnad570 prediksjoner med null kall; 84 på en ledende modell kostet $13.40
- ~80%*Beslutninger besvart ut fra det den har lærtKI-en din tok resten
* Tall fra Vareons interne benchmarker, ikke uavhengig verifisert. Les ansvarsfraskrivelsen
Foran GPT-5.1, Gemini 3 Pro og Claude Sonnet 4.5.
Tilstandsprediksjon over tre kjøringer, sammenlignet sak for sak; forspranget er signifikant mot alle tre.
Steg 1 av 2: Poengsummen
I å forutsi hvordan postene endrer seg, fikk Duplex 0.256, foran Gemini 3 Pro med 0.205, Claude Sonnet 4.5 med 0.204 og GPT-5.1 med 0.166.*
Duplex først, modellen din bak.
Duplex svarer på det den kan, og sender resten til GPT-5.6.
Steg 1 av 2: Alt til modellen
Å sende alle 806 beslutninger til GPT-5.6 ville kostet rundt $129, hver kjøring.*
Slik ble det kjørt.
- Benchmark
- World of Workflows, fra Skyfall Research, bygget på ServiceNow: offentlig, under mit-lisensen.
- Arbeidet
- Forutsi hvordan oppføringene endres etter en operasjon, og finn ut hvilken operasjon som forårsaket en endring.
- Poengberegning
- Benchmarkens egen kode for poengberegning, uendret, kontrollert mot forfatternes publiserte tall.
- Slik kjørte Duplex
- Hvert steg forutsagt før svaret ble vist, med læring bare fra steg som allerede var vurdert, uten modellkall.
- Sammenlignet med
- Prediksjonsfilene som forfatterne av benchmarken publiserte for GPT-5.1, Gemini 3 Pro og Claude Sonnet 4.5.
- Omfang
- Tre kjøringer med 570 prediksjoner, med parede signifikanstester på de samme sakene.
Hva det betyr for arbeidet ditt.
Den lærer hvordan systemene dine oppfører seg.
Duplex forutså endringer i ServiceNow-oppføringer bedre enn tre ledende modeller.
Uten modellkostnad.
570 prediksjoner per kjøring, uten modellkall.*
Modellen din der den hjelper.
Ved å svare først med GPT-5.6 bak seg tok Duplex rundt 80% av beslutningene og kuttet regningen fra rundt $129 til $29.*
Neste: Slår finjustering, uten treningskjøring.Les det →
Se det på ditt eget arbeid.
Fra din egen assistent til hver agent bedriften din kjører, setter en pilot Duplex på ditt eget arbeid, med måltallene avtalt før den starter.