Co Duplex přináší, v číslech.
Každé číslo vedle toho, co překonalo: samotný model, cache, vyhledávání nebo doladění.
Interní benchmarky. Všechna čísla na této stránce pocházejí z testů, které Vareon provedl sám, a nebyla nezávisle ověřena. Přečtěte si vyloučení odpovědnosti
- −90.3%*Volání modelu při vyšší přesnostiPřesnost 94.6%, proti 59.8% u samotného modelu
- 0%*Zastaralé odpovědi po změně pravidlaCache a vyhledávání: 72%
- 6 / 6*Testy, ve kterých Duplex porazil doladěníV průměru +30.3 bodu, bez tréninkového běhu
- 3 / 3*Špičkové modely poražené v předpovídání změn systémuVe veřejném podnikovém benchmarku, bez volání modelu
* Čísla z interních benchmarků společnosti Vareon, nezávisle neověřená. Přečtěte si vyloučení odpovědnosti
Jeden proud 3,000 rozhodnutí, třemi způsoby.
Všechny výsledky.
* Čísla z interních benchmarků společnosti Vareon, nezávisle neověřená. Přečtěte si vyloučení odpovědnosti
O 90% méně volání modelu a vyšší přesnost.*
- −90.3% Volání modelu · Náklady −84.8% · latence −81.9%*
- ~23× Rychlejší po naučení · ≈97 ms proti ≈2,231 ms*
Proud 3,000 rozhodnutí, v němž se pravidla pětkrát změnila, proti samotnému špičkovému modelu a modelu se sémantickou cache; běh s 300 rozhodnutími přidal cache s vyhledáváním a znalostním grafem. Všechny přístupy používaly stejný model.
Přesnější v každém nastavení, za sedminu nákladů.
- 84 až 91% Ve třech nových bězích po 1,000 rozhodnutích · Nejlepší výsledek cache: přibližně 73%*
Proud 3,000 rozhodnutí, na kterém byl každý přístup proměřen v celém rozsahu svých nastavení, pak tři nové běhy po 1,000 rozhodnutích ve druhém, nezávislém uspořádání.
Učí se dál, aniž by zapomínal, zastarával nebo rostl.
5 / 5*Požadavky na učení v provozu, všechny splněné v každém běhuCache a vyhledávání v průměru 2.2 / 5 · online doladění 4 / 5- 0% Zastaralé odpovědi po změně zásad · Cache a vyhledávání 72%*
- Stálá Velikost v průběhu času · Cache a vyhledávání narostly na ≈1,300 řádků*
Deset běhů se stejným dohledem a stejnými vstupy pro všechny přístupy.
Zvládá nové formulace a rozpozná klamně podobné požadavky.
- 98.98% Požadavků vyřízených správně: správně zodpovězených, nebo předaných vaší AI · Duplex sám zodpověděl 95.78% známých požadavků*
- 0.996 Skóre rozlišení známého od nového, z 1 · Cache 0.930*
Deset naučených záměrů a šest úrovní novosti, od přesných opakování po požadavky z jiné oblasti, během deseti běhů.
Naplánuje nejkratší cestu bez jediného tokenu modelu.
- 0% Reaktivní hladový agent*
- ~204 Tokeny na rozhodnutí, které špičkový model utratí, aby se mu vyrovnal*
Vícekrokový svět během deseti běhů, v porovnání s reaktivním agentem a špičkovým modelem se stejným úkolem.
Udržuje úspěšnost úkolů agentů s menším počtem volání modelu.
Τ-bench (tau2-bench), maloobchod, od Sierra Research. Neupravené maloobchodní prostředí se stejným modelem, nástroji a simulátorem uživatele pro všechny přístupy, ve třech bězích po čtyřiceti epizodách.
Stálé náklady na čtení, ať je historie jakkoli dlouhá.
- 3.7× Méně čtení na otázku než při čtení celé historie · Při čtyřiceti relacích historie*
- 84% Přesnost při čtyřiceti relacích historie*
LongMemEval, od Wu a kol., ICLR 2025. Padesát otázek, každá položená s historií o 2, 5, 10, 20 a 40 relacích.
Blokuje každý útok a běžnou práci pustí dál.
- 0.7% Mylná odmítnutí · Nejméně ze všech přístupů, které zastavily každý útok*
- 40 / 40 Odstraněné otrávené vzorky · Přesnost zpět do 1 bodu*
Šest rodin útoků v parafrázované podobě, s neškodnými požadavky napsanými tak, aby se útokům podobaly.
Naučí se novou dovednost sám, s vypnutým modelem.
- 0.26 ms Na opětovné použití dovednosti · Při 0 voláních modelu*
- 627 Odmítnuté nebezpečné akce na běh · A bezpečná dovednost byla přesto naučena*
Čtyři sady během deseti běhů, každá hodnocená podle svého nejhoršího běhu.
Překonal tři špičkové modely v předpovídání změn systému.
- $0 Výdaje za model · 570 předpovědí bez volání; 84 na špičkovém modelu stálo $13.40*
- ~80% Rozhodnutí zodpovězená z toho, co se naučil · Zbytek převzala vaše AI*
World of Workflows, od Skyfall Research / ServiceNow. Tři offline disciplíny hodnocené vlastním vyhodnocovacím nástrojem autorů benchmarku, během tří běhů.
Překonává doladění, bez tréninkového běhu.
- 0 Přetrénování při přechodu na jinou rodinu modelů · Adaptéry přešly v 0 z 6*
- 60 až 79% Zodpovězeno z toho, co se naučil · Na obou rodinách modelů*
Tři veřejné datasety záměrů, dvě otevřené rodiny modelů a tři běhy, se stejným zmrazeným modelem a daty pro všechny přístupy.
Ověřte si to na vlastní práci.
Od vašeho vlastního asistenta po každého agenta, kterého vaše firma provozuje: v pilotním projektu běží Duplex na vaší vlastní práci, s měřítky dohodnutými před začátkem.