En jämn läskostnad, hur lång historiken än är.
LongMemEval ställer frågor om långa chatthistoriker mellan en person och en assistent. När historiken växte till fyrtio sessioner planade läsningen bakom vart och ett av svaren från Duplex ut, och där ett faktum hade ändrats svarade den med det aktuella.
LongMemEval, av Wu et al., ICLR 2025. Benchmarktestet →
Interna benchmarktester. Alla siffror på denna sida kommer från tester som Vareon själv har genomfört och har inte oberoende verifierats. Läs ansvarsfriskrivningen
- 96%*Aktuella svar där ett faktum hade ändratsDet nya faktumet, inte det gamla
- 3.7×*Mindre läsning per fråga än att läsa hela historikenVid fyrtio sessioners historik
- 84%*Träffsäkerhet vid fyrtio sessioners historik
* Siffror från Vareons interna benchmarktester, inte oberoende verifierade. Läs ansvarsfriskrivningen
Så genomfördes det.
- Benchmark
- LongMemEval, av Wu et al. (ICLR 2025), från den rensade offentliga versionen.
- Arbetet
- Besvara en fråga om en lång chatthistorik mellan en person och en assistent.
- Historiker
- Sessionerna som innehåller svaret, blandade med orelaterade sessioner från en pool med 19,195, vid 2, 5, 10, 20 och 40 sessioner.
- Omfattning
- 50 frågor vid fem historikstorlekar: 250 svar för varje metod.
- Modeller
- GPT-5.5 läste det som varje metod tillhandahöll och skrev varje svar; en separat modell bedömde dem.
Vad det betyder för ditt arbete.
Långvarigt arbete förblir prisvärt.
Från tjugo till fyrtio sessioner fördubblades historiken, och kostnaden för varje svar låg kvar på $0.032.*
Svaren följer det som ändrades.
Där ett faktum hade ändrats svarade Duplex med det aktuella i 96% av fallen.*
Den svarar, i stället för att avstå.
Duplex avböjde 5 av de 250 frågorna, och besvarade resten.*
Se det i ditt eget arbete.
Från din egen assistent till varje agent ditt företag kör sätter en pilot Duplex på ditt eget arbete, med mätetal som avtalas innan den börjar.