Was Duplex leistet, in Zahlen.
Jede Zahl neben dem, was sie geschlagen hat: das Modell allein, ein Cache, Retrieval oder Fine-Tuning.
Interne Benchmarks. Jede Zahl auf dieser Seite stammt aus Tests, die Vareon selbst durchgeführt hat, und wurde nicht unabhängig überprüft. Haftungsausschluss lesen
- −90.3%*Modellaufrufe, Genauigkeit steigt94.6% genau, gegenüber 59.8% beim Modell allein
- 0%*Veraltete Antworten nach einer RegeländerungCache und Retrieval: 72%
- 6 / 6*Tests, in denen Duplex Fine-Tuning schlug+30.3 Punkte im Schnitt, ohne Trainingslauf
- 3 / 3*Spitzenmodelle bei der Vorhersage von Systemänderungen geschlagenIn einem öffentlichen Benchmark für Unternehmenssysteme, ohne Modellaufrufe
* Zahlen aus internen Benchmarks von Vareon, nicht unabhängig überprüft. Haftungsausschluss lesen
Ein Strom aus 3,000 Entscheidungen, auf drei Arten.
Schritt 1 von 3: Genauigkeit
Alle Ergebnisse.
* Zahlen aus internen Benchmarks von Vareon, nicht unabhängig überprüft. Haftungsausschluss lesen
90% weniger Modellaufrufe und dazu genauer.*
- −90.3% Modellaufrufe · −84.8% Kosten · −81.9% Latenz*
- ~23× Schneller, wenn gelernt · ≈97 ms gegenüber ≈2,231 ms*
Ein Strom von 3,000 Entscheidungen, in dem sich die Regeln fünfmal änderten, gegen das Spitzenmodell allein und mit semantischem Cache; ein Lauf mit 300 Entscheidungen ergänzte einen Cache mit Retrieval und einem Wissensgraphen. Jeder Ansatz nutzte dasselbe Modell.
Genauer bei jeder Einstellung, zu einem Siebtel der Kosten.
94.1 bis 94.8%*Genauigkeit von Duplex, bei jeder der acht EinstellungenDas Beste, was ein Cache erreichte: 77.3%- 84 bis 91% Bei drei neuen Läufen mit 1,000 Entscheidungen · Das Beste, was ein Cache erreichte: etwa 73%*
Ein Strom von 3,000 Entscheidungen, bei dem jeder Ansatz seine ganze Bandbreite an Einstellungen durchlief, dann drei neue Läufe mit 1,000 Entscheidungen in einem zweiten, unabhängigen Aufbau.
Lernt weiter, ohne zu vergessen, zu veralten oder zu wachsen.
5 / 5*Anforderungen an Lernen im Produktivbetrieb, in jedem Lauf alle erfülltCache und Retrieval im Schnitt 2.2 / 5 · Online-Fine-Tuning 4 / 5- 0% Veraltete Antworten nach einer Richtlinienänderung · Cache und Retrieval 72%*
- Konstant Größe im Zeitverlauf · Cache und Retrieval wuchsen auf ≈1,300 Zeilen*
Zehn Läufe, mit derselben Überwachung und denselben Eingaben für jeden Ansatz.
Kommt mit neuen Formulierungen zurecht und erkennt die Doppelgänger.
- 98.98% Der Anfragen richtig behandelt: richtig beantwortet oder an deine KI übergeben · Duplex beantwortete 95.78% der bekannten Anfragen selbst*
- 0.996 Wert für die Unterscheidung von Vertraut und Neu, maximal 1 · Ein Cache 0.930*
Zehn gelernte Intents und sechs Stufen von Neuheit, von exakten Wiederholungen bis zu Anfragen aus einer anderen Domäne, über zehn Läufe.
Plant den kürzesten Weg, mit null Modell-Tokens.
- 0% Ein reaktiver Greedy-Agent*
- ~204 Tokens pro Entscheidung, die ein Spitzenmodell braucht, um mitzuhalten*
Eine mehrstufige Welt über zehn Läufe, gegen einen reaktiven Agenten und ein Spitzenmodell mit derselben Aufgabe.
Hält Agentenaufgaben auf Erfolgskurs, mit weniger Modellaufrufen.
- 12.8% Ohne das Modell abgeschlossene Runden · ≈15% weniger Modellaufrufe*
- 100% Erfolg bei neuen Aufgaben*
Τ-bench (tau2-bench), Einzelhandel, von Sierra Research. Die unveränderte Einzelhandelsumgebung, mit demselben Modell, denselben Werkzeugen und demselben Nutzersimulator für jeden Ansatz, über drei Läufe mit je vierzig Episoden.
Gleichbleibende Lesekosten, egal wie lang der Verlauf ist.
- 3.7× Weniger Lesemenge pro Frage, als wenn der ganze Verlauf gelesen wird · Bei vierzig Sitzungen Verlauf*
- 84% Genauigkeit bei vierzig Sitzungen Verlauf*
LongMemEval, von Wu et al., ICLR 2025. Fünfzig Fragen, jede gestellt bei einem Verlauf von 2, 5, 10, 20 und 40 Sitzungen.
Blockiert jeden Angriff und lässt normale Arbeit durch.
- 0.7% Fehlablehnungen · Der niedrigste Wert aller Ansätze, die jeden Angriff blockierten*
- 40 / 40 Vergiftete Beispiele entfernt · Genauigkeit wieder auf ±1 Punkt*
Sechs Angriffsfamilien, umformuliert, mit harmlosen Anfragen, die den Angriffen ähneln sollten.
Lernt selbstständig eine neue Fertigkeit, bei abgeschaltetem Modell.
100%*Aufgaben bei abgeschaltetem Modell erledigt, in jedem LaufEin Spitzenmodell brauchte ≈507 Aufrufe pro Lauf- 0.26 ms Um eine Fertigkeit wiederzuverwenden · Bei 0 Modellaufrufen*
- 627 Unsichere Aktionen pro Lauf abgelehnt · Und die sichere Fertigkeit wurde trotzdem gelernt*
Vier Testreihen über zehn Läufe, jede nach ihrem schlechtesten Lauf bewertet.
Schlug drei Spitzenmodelle bei der Vorhersage von Systemänderungen.
0.256*Vorhersagewert für SystemänderungenGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204- $0 Modellausgaben · 570 Vorhersagen ohne Aufrufe; 84 auf einem Spitzenmodell kosteten $13.40*
- ~80% Entscheidungen aus dem Gelernten beantwortet · Deine KI übernahm den Rest*
World of Workflows, von Skyfall Research / ServiceNow. Drei Offline-Tracks, bewertet mit dem eigenen Evaluator der Benchmark-Autoren, über drei Läufe.
Schlägt Fine-Tuning, ohne Trainingslauf.
- 0 Neutraining für den Wechsel zu einer anderen Modellfamilie · Die Adapter ließen sich in 0 von 6 Fällen übertragen*
- 60 bis 79% Aus dem Gelernten beantwortet · Auf beiden Modellfamilien*
Drei öffentliche Intent-Datensätze, zwei offene Modellfamilien und drei Läufe, mit demselben eingefrorenen Modell und denselben Daten für jeden Ansatz.
Erlebe es mit deiner eigenen Arbeit.
Vom eigenen Assistenten bis zu jedem Agenten, den dein Unternehmen betreibt: Ein Pilotprojekt lässt Duplex mit deiner eigenen Arbeit laufen, und die Kennzahlen werden vereinbart, bevor es beginnt.