En jevn lesekostnad, uansett hvor lang historikken er.
LongMemEval stiller spørsmål om lange chathistorikker mellom en person og en assistent. Da historikken vokste til førti økter, flatet lesingen bak hvert svar fra Duplex ut, og der et faktum hadde endret seg, svarte den med det gjeldende.
LongMemEval, av Wu et al., ICLR 2025. Benchmarken →
Interne benchmarker. Alle tallene på denne siden kommer fra tester som Vareon selv har kjørt, og er ikke uavhengig verifisert. Les ansvarsfraskrivelsen
- 96%*Gjeldende svar der et faktum hadde endret segDet nye faktumet, ikke det gamle
- 3.7×*Mindre lesing per spørsmål enn å lese hele historikkenVed førti økters historikk
- 84%*Nøyaktighet ved førti økters historikk
* Tall fra Vareons interne benchmarker, ikke uavhengig verifisert. Les ansvarsfraskrivelsen
Tidlig i historikken oppgis et faktum: teamet bruker leverandør A.*
Slik ble det kjørt.
- Benchmark
- LongMemEval, av Wu et al. (ICLR 2025), fra den rensede offentlige utgivelsen.
- Arbeidet
- Svar på et spørsmål om en lang chathistorikk mellom en person og en assistent.
- Historikker
- Øktene som inneholder svaret, blandet med urelaterte økter fra en samling på 19,195, ved 2, 5, 10, 20 og 40 økter.
- Omfang
- 50 spørsmål ved fem historikkstørrelser: 250 svar for hver tilnærming.
- Modeller
- GPT-5.5 leste det hver tilnærming leverte, og skrev hvert svar; en egen modell vurderte dem.
Hva det betyr for arbeidet ditt.
Langvarig arbeid forblir rimelig.
Fra tjue til førti økter ble historikken doblet, og kostnaden per svar holdt seg på $0.032.*
Svarene følger det som endret seg.
Der et faktum hadde endret seg, svarte Duplex med det gjeldende i 96% av tilfellene.*
Den svarer, i stedet for å holde tilbake.
Duplex avviste 5 av de 250 spørsmålene, og besvarte resten.*
Se det på ditt eget arbeid.
Fra din egen assistent til hver agent bedriften din kjører, setter en pilot Duplex på ditt eget arbeid, med måltallene avtalt før den starter.