Vorhersagen, was sich als Nächstes ändert.
Schritt 1 von 4: Eine Operation
Schlug drei Spitzenmodelle bei der Vorhersage von Systemänderungen.
World of Workflows ist ein öffentlicher Benchmark für Unternehmenssysteme auf Basis von ServiceNow: nach jeder Operation vorhersagen, wie sich die Datensätze des Systems ändern. Duplex lernte die Workflows unterwegs, ohne Modellaufrufe, und wurde vom eigenen Code des Benchmarks bewertet.
World of Workflows, von Skyfall Research, auf ServiceNow.
Interne Benchmarks. Jede Zahl auf dieser Seite stammt aus Tests, die Vareon selbst durchgeführt hat, und wurde nicht unabhängig überprüft. Haftungsausschluss lesen
- 0.256*Vorhersagewert für SystemänderungenGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204
- $0*Modellausgaben570 Vorhersagen ohne Aufrufe; 84 auf einem Spitzenmodell kosteten $13.40
- ~80%*Entscheidungen aus dem Gelernten beantwortetDeine KI übernahm den Rest
* Zahlen aus internen Benchmarks von Vareon, nicht unabhängig überprüft. Haftungsausschluss lesen
Vor GPT-5.1, Gemini 3 Pro und Claude Sonnet 4.5.
Zustandsvorhersage über drei Läufe, Fall für Fall verglichen; der Vorsprung ist gegenüber allen dreien signifikant.
Schritt 1 von 2: Die Wertung
Bei der Vorhersage, wie sich die Datensätze ändern, erreichte Duplex 0.256, vor Gemini 3 Pro mit 0.205, Claude Sonnet 4.5 mit 0.204 und GPT-5.1 mit 0.166.*
Duplex zuerst, dein Modell dahinter.
Duplex beantwortet, was es kann, und gibt den Rest an GPT-5.6 weiter.
Schritt 1 von 2: Alles ans Modell
Alle 806 Entscheidungen an GPT-5.6 zu schicken, würde je Lauf etwa $129 kosten.*
Wie es durchgeführt wurde.
- Benchmark
- World of Workflows, von Skyfall Research, auf Basis von ServiceNow: öffentlich, unter der MIT-Lizenz.
- Die Arbeit
- Vorhersagen, wie sich die Datensätze nach einer Operation ändern, und herausfinden, welche Operation eine Änderung verursacht hat.
- Bewertung
- Der eigene Bewertungscode des Benchmarks, unverändert, abgeglichen mit den veröffentlichten Zahlen der Autoren.
- Wie Duplex lief
- Jeder Schritt vorhergesagt, bevor die Antwort gezeigt wurde, gelernt nur aus bereits bewerteten Schritten, ohne Modellaufrufe.
- Verglichen mit
- Die Vorhersagedateien, die die Autoren des Benchmarks für GPT-5.1, Gemini 3 Pro und Claude Sonnet 4.5 veröffentlicht haben.
- Umfang
- Drei Läufe mit je 570 Vorhersagen, mit gepaarten Signifikanztests auf denselben Fällen.
Was es für deine Arbeit bedeutet.
Es lernt, wie deine Systeme sich verhalten.
Duplex sagte Änderungen an ServiceNow-Datensätzen besser voraus als drei Spitzenmodelle.
Ohne Modellkosten.
570 Vorhersagen pro Lauf, ohne Modellaufrufe.*
Dein Modell, wo es hilft.
Mit GPT-5.6 dahinter antwortete Duplex zuerst, übernahm etwa 80% der Entscheidungen und senkte die Rechnung von etwa $129 auf $29.*
Weiter: Schlägt Fine-Tuning, ohne Trainingslauf.Lesen →
Erlebe es mit deiner eigenen Arbeit.
Vom eigenen Assistenten bis zu jedem Agenten, den dein Unternehmen betreibt: Ein Pilotprojekt lässt Duplex mit deiner eigenen Arbeit laufen, und die Kennzahlen werden vereinbart, bevor es beginnt.