Vad Duplex levererar, i siffror.
Varje siffra bredvid det den slog: modellen ensam, en cache, hämtning eller finjustering.
Interna benchmarktester. Alla siffror på denna sida kommer från tester som Vareon själv har genomfört och har inte oberoende verifierats. Läs ansvarsfriskrivningen
- −90.3%*Modellanrop, med högre träffsäkerhet94.6% träffsäkerhet, mot 59.8% för modellen ensam
- 0%*Inaktuella svar efter en regeländringCache och hämtning: 72%
- 6 / 6*Tester där Duplex slog finjustering+30.3 procentenheter i snitt, utan träningskörning
- 3 / 3*Spetsmodeller slagna i att förutsäga systemändringarI ett offentligt benchmarktest för företagssystem, utan modellanrop
* Siffror från Vareons interna benchmarktester, inte oberoende verifierade. Läs ansvarsfriskrivningen
Ett flöde av 3,000 beslut, på tre sätt.
Alla resultat.
* Siffror från Vareons interna benchmarktester, inte oberoende verifierade. Läs ansvarsfriskrivningen
90% färre modellanrop, och mer träffsäker.*
- −90.3% Modellanrop · −84.8% kostnad · −81.9% latens*
- ~23× Snabbare efter inlärning · ≈97 ms mot ≈2,231 ms*
Ett flöde av 3,000 beslut där reglerna ändrades fem gånger, mot spetsmodellen ensam och med en semantisk cache; en körning med 300 beslut lade till en cache med hämtning och en kunskapsgraf. Varje metod använde samma modell.
Mer träffsäker i varje inställning, till en sjundedel av kostnaden.
94.1 till 94.8%*Träffsäkerhet för Duplex, i var och en av åtta inställningarDet bästa en cache nådde: 77.3%- 84 till 91% I tre nya körningar med 1,000 beslut · Det bästa en cache nådde: ungefär 73%*
Ett flöde med 3,000 beslut där varje metod kördes över hela sitt spann av inställningar, sedan tre nya körningar med 1,000 beslut i en andra, oberoende testuppställning.
Fortsätter att lära sig utan att glömma, bli inaktuell eller växa.
5 / 5*Krav för inlärning i produktion, alla uppfyllda i varje körningCache och hämtning i snitt 2.2 / 5 · finjustering online 4 / 5- 0% Inaktuella svar efter en policyändring · Cache och hämtning 72%*
- Konstant Fotavtryck över tid · Cache och hämtning växte till ≈1,300 rader*
Tio körningar, med samma övervakning och samma indata för alla metoder.
Hanterar nya formuleringar, och upptäcker de snarlika fallen.
- 98.98% Av förfrågningarna hanterades korrekt: rätt besvarade eller lämnade till din AI · Duplex besvarade 95.78% av kända förfrågningar själv*
- 0.996 Poäng för att skilja välbekant från nytt, av 1 · En cache 0.930*
Tio inlärda avsikter och sex nivåer av nyhet, från exakta upprepningar till förfrågningar från en annan domän, över tio körningar.
Planerar den kortaste vägen, med noll modelltokens.
En värld i flera steg över tio körningar, mot en reaktiv agent och en spetsmodell som fick samma uppgift.
Får agentuppgifter att fortsätta lyckas, med färre modellanrop.
Τ-bench (tau2-bench), detaljhandel, av Sierra Research. Den oförändrade detaljhandelsmiljön, med samma modell, verktyg och användarsimulator för alla metoder, över tre körningar med fyrtio episoder.
En jämn läskostnad, hur lång historiken än är.
- 3.7× Mindre läsning per fråga än att läsa hela historiken · Vid fyrtio sessioners historik*
- 84% Träffsäkerhet vid fyrtio sessioners historik*
LongMemEval, av Wu et al., ICLR 2025. Femtio frågor, var och en ställd med historiken på 2, 5, 10, 20 och 40 sessioner.
Blockerar varje attack, och släpper igenom vanligt arbete.
- 0.7% Felaktiga avslag · Lägst av alla metoder som stoppade varje attack*
- 40 / 40 Förgiftade exempel borttagna · Noggrannhet åter inom 1 poäng*
Sex attackfamiljer, omformulerade, med ofarliga förfrågningar skrivna för att likna attackerna.
Lär sig en ny färdighet på egen hand, med modellen avstängd.
100%*Uppgifter slutförda med modellen avstängd, i varje körningEn spetsmodell behövde ≈507 anrop per körning- 0.26 ms För att återanvända en färdighet · Med 0 modellanrop*
- 627 Osäkra åtgärder nekade per körning · Och den säkra färdigheten lärdes ändå in*
Fyra testsviter över tio körningar, var och en bedömd efter sin sämsta körning.
Slog tre spetsmodeller i att förutsäga systemändringar.
0.256*Poäng för förutsägelse av systemändringarGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204- $0 Modellkostnad · 570 förutsägelser med noll anrop; 84 på en spetsmodell kostade $13.40*
- ~80% Beslut som besvarades utifrån det den har lärt sig · Din AI tog resten*
World of Workflows, av Skyfall Research / ServiceNow. Tre offlinespår, poängsatta av benchmarkförfattarnas egen utvärderare, över tre körningar.
Slår finjustering, utan träningskörning.
- 0 Omträning för att flytta till en annan modellfamilj · Adaptrarna gick att flytta i 0 av 6*
- 60 till 79% Besvarat utifrån det den lärt sig · På båda modellfamiljerna*
Tre offentliga dataset för avsiktsklassificering, två öppna modellfamiljer och tre körningar, med samma frysta modell och data för alla metoder.
Se det i ditt eget arbete.
Från din egen assistent till varje agent ditt företag kör sätter en pilot Duplex på ditt eget arbete, med mätetal som avtalas innan den börjar.