Hoppa till innehållet
Vareon
Starta en pilot
sv

Slog tre spetsmodeller i att förutsäga systemändringar.

World of Workflows är ett offentligt benchmarktest för företagssystem byggt på ServiceNow: efter varje operation gäller det att förutsäga hur systemets poster ändras. Duplex lärde sig arbetsflödena under tiden, utan modellanrop, och poängsattes av benchmarktestets egen kod.

World of Workflows, av Skyfall Research, på ServiceNow.

Se det hända →Alla resultat

Interna benchmarktester. Alla siffror på denna sida kommer från tester som Vareon själv har genomfört och har inte oberoende verifierats. Läs ansvarsfriskrivningen

  • 0.256*Poäng för förutsägelse av systemändringarGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204
  • $0*Modellkostnad570 förutsägelser med noll anrop; 84 på en spetsmodell kostade $13.40
  • ~80%*Beslut som besvarades utifrån det den har lärt sigDin AI tog resten

* Siffror från Vareons interna benchmarktester, inte oberoende verifierade. Läs ansvarsfriskrivningen

Att förutsäga vad som ändras härnäst.

En operation körs i ServiceNow: ett verktygsanrop, med arbetsflödets historik hittills.*

Steg 1 av 4: En operation

Före GPT-5.1, Gemini 3 Pro och Claude Sonnet 4.5.

Tillståndsprognos över tre körningar, jämförd fall för fall; ledningen är signifikant mot alla tre.

Steg 1 av 2: Poängen

I att förutsäga hur posterna ändras fick Duplex 0.256, före Gemini 3 Pro med 0.205, Claude Sonnet 4.5 med 0.204 och GPT-5.1 med 0.166.*

Duplex först, din modell bakom.

Duplex svarar på det den kan och skickar resten till GPT-5.6.

Steg 1 av 2: Allt till modellen

Att skicka alla 806 beslut till GPT-5.6 skulle kosta cirka $129, varje körning.*

Så genomfördes det.

Benchmark
World of Workflows, från Skyfall Research, byggt på ServiceNow: offentligt, under mit-licensen.
Arbetet
Förutsäga hur posterna ändras efter en operation, och räkna ut vilken operation som orsakade en ändring.
Poängsättning
Benchmarktestets egen poängkod, oförändrad, kontrollerad mot författarnas publicerade siffror.
Så kördes Duplex
Varje steg förutsades innan svaret visades, och inlärningen skedde bara från steg som redan poängsatts, utan modellanrop.
Jämfört med
De förutsägelsefiler som benchmarktestets författare publicerade för GPT-5.1, Gemini 3 Pro och Claude Sonnet 4.5.
Omfattning
Tre körningar med 570 förutsägelser, med parade signifikanstester på samma fall.

Vad det betyder för ditt arbete.

  • Den lär sig hur dina system beter sig.

    Duplex förutsade hur poster i ServiceNow ändras bättre än tre spetsmodeller.

  • Utan modellkostnad.

    570 förutsägelser per körning, utan modellanrop.*

  • Din modell där den hjälper.

    När Duplex svarade först med GPT-5.6 bakom sig tog den ungefär 80% av besluten och sänkte notan från ungefär $129 till $29.*

Ser vad en handling kommer att göra →
Nästa: Slår finjustering, utan träningskörning.Läs det →

Se det i ditt eget arbete.

Från din egen assistent till varje agent ditt företag kör sätter en pilot Duplex på ditt eget arbete, med mätetal som avtalas innan den börjar.

Starta en pilot →Alla resultat

Dina uppgifter, ditt val.

vareon.com använder inga spårare för analys eller annonsering och inga spårare från tredje part, och Vareon säljer inte dina uppgifter. Om du godkänner kommer webbplatsen ihåg ditt ljusa eller mörka utseende på den här enheten i ett år. Om du nekar sparar den bara det som behövs för att den ska fungera.

Du kan när som helst ändra ditt val under Integritetsval längst ned på varje sida. Läs integritetspolicyn