Wat Duplex oplevert, in cijfers.
Elk getal naast wat het versloeg: het model alleen, een cache, retrieval of fine-tuning.
Interne benchmarks. Alle cijfers op deze pagina komen uit tests die Vareon zelf heeft uitgevoerd en zijn niet onafhankelijk geverifieerd. Lees de disclaimer
- −90.3%*Modelaanroepen, nauwkeuriger94.6% nauwkeurig, tegenover 59.8% voor het model alleen
- 0%*Verouderde antwoorden na een regelwijzigingCache en retrieval: 72%
- 6 / 6*Tests waarin Duplex fine-tuning versloegGemiddeld +30.3 punten, zonder trainingsrun
- 3 / 3*Frontiermodellen verslagen in het voorspellen van systeemwijzigingenOp een openbare enterprise-benchmark, zonder modelaanroepen
* Cijfers uit de interne benchmarks van Vareon, niet onafhankelijk geverifieerd. Lees de disclaimer
Één reeks van 3,000 beslissingen, op drie manieren.
Alle resultaten.
* Cijfers uit de interne benchmarks van Vareon, niet onafhankelijk geverifieerd. Lees de disclaimer
90% minder modelaanroepen, en nauwkeuriger.*
- −90.3% Modelaanroepen · −84.8% kosten · −81.9% latentie*
- ~23× Sneller zodra geleerd · ≈97 ms tegenover ≈2,231 ms*
Een stroom van 3,000 beslissingen waarin de regels vijf keer veranderden, tegenover het frontiermodel alleen en met een semantische cache; een run van 300 beslissingen voegde een cache met retrieval en een kennisgraaf toe. Elke aanpak gebruikte hetzelfde model.
Nauwkeuriger bij elke instelling, voor een zevende van de kosten.
94.1 tot 94.8%*Nauwkeurigheid van Duplex, bij elk van de acht instellingenHet beste wat een cache haalde: 77.3%- 84 tot 91% Op drie nieuwe runs van 1,000 beslissingen · Het beste wat een cache haalde: ongeveer 73%*
Een reeks van 3,000 beslissingen, waarbij elke aanpak over zijn volledige bereik aan instellingen werd getest, daarna drie nieuwe runs van 1,000 beslissingen in een tweede, onafhankelijke opzet.
Blijft leren zonder te vergeten, te verouderen of te groeien.
5 / 5*Eisen voor leren in productie, allemaal gehaald in elke runCache en retrieval gemiddeld 2.2 / 5 · online fine-tuning 4 / 5- 0% Verouderde antwoorden na een beleidswijziging · Cache en retrieval 72%*
- Constant Omvang in de loop van de tijd · Cache en retrieval groeiden tot ≈1,300 rijen*
Tien runs, met dezelfde supervisie en dezelfde invoer voor elke aanpak.
Kan overweg met nieuwe formuleringen, en herkent de dubbelgangers.
- 98.98% Van de verzoeken correct afgehandeld: goed beantwoord, of overgedragen aan je AI · Duplex beantwoordde 95.78% van de bekende verzoeken zelf*
- 0.996 Score voor het onderscheiden van bekend en nieuw, maximaal 1 · Een cache 0.930*
Tien geleerde intents en zes niveaus van nieuwheid, van exacte herhalingen tot verzoeken uit een ander domein, over tien runs.
Plant de kortste route, met nul modeltokens.
- 0% Een reactieve, gretige agent*
- ~204 Tokens per beslissing die een frontiermodel uitgeeft om het te evenaren*
Een wereld met meerdere stappen over tien runs, tegenover een reactieve agent en een frontiermodel met dezelfde taak.
Laat agenttaken blijven slagen, met minder modelaanroepen.
- 12.8% Beurten afgehandeld zonder het model · ≈15% minder modelaanroepen*
- 100% Succes bij nieuwe taken*
Τ-bench (tau2-bench), retail, van Sierra Research. De ongewijzigde retailomgeving, met hetzelfde model, dezelfde tools en dezelfde gebruikerssimulator voor elke aanpak, over drie runs van veertig episodes.
Stabiele leeskosten, hoe lang de geschiedenis ook is.
- 3.7× Minder leeswerk per vraag dan de hele geschiedenis lezen · Bij een geschiedenis van veertig sessies*
- 84% Nauwkeurigheid bij een geschiedenis van veertig sessies*
LongMemEval, van Wu et al., ICLR 2025. Vijftig vragen, elk gesteld met een geschiedenis van 2, 5, 10, 20 en 40 sessies.
Blokkeert elke aanval, en laat gewoon werk door.
- 0.7% Valse weigeringen · Het laagste van alle aanpakken die elke aanval tegenhielden*
- 40 / 40 Vergiftigde samples verwijderd · Accuratesse binnen 1 punt terug*
Zes aanvalsfamilies, geparafraseerd, met onschuldige verzoeken die zo geschreven zijn dat ze op de aanvallen lijken.
Leert zelf een nieuwe vaardigheid, met het model uitgeschakeld.
100%*Taken voltooid met het model uit, in elke runEen frontiermodel had ≈507 aanroepen per run nodig- 0.26 ms Om een vaardigheid te hergebruiken · Bij 0 modelaanroepen*
- 627 Onveilige acties geweigerd per run · En de veilige vaardigheid werd toch geleerd*
Vier testreeksen over tien runs, elk beoordeeld op de slechtste run.
Versloeg drie frontiermodellen in het voorspellen van systeemwijzigingen.
0.256*Score voor het voorspellen van systeemwijzigingenGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204- $0 Modeluitgaven · 570 voorspellingen met nul aanroepen; 84 op een frontiermodel kostten $13.40*
- ~80% Beslissingen beantwoord vanuit wat het heeft geleerd · Je AI deed de rest*
World of Workflows, van Skyfall Research / ServiceNow. Drie offline tracks, beoordeeld door de eigen evaluator van de benchmarkauteurs, over drie runs.
Verslaat fine-tuning, zonder trainingsrun.
- 0 Hertraining om naar een andere modelfamilie over te stappen · De adapters gingen in 0 van de 6 mee*
- 60 tot 79% Beantwoord uit wat het heeft geleerd · Op beide modelfamilies*
Drie openbare intent-datasets, twee open modelfamilies en drie runs, met hetzelfde bevroren model en dezelfde data voor elke aanpak.
Zie het in je eigen werk.
Van je eigen assistent tot elke agent die je bedrijf draait: een pilot zet Duplex in op je eigen werk, met vooraf afgesproken maatstaven.