En stabil læseomkostning, uanset hvor lang historikken er.
LongMemEval stiller spørgsmål om lange chathistorikker mellem en person og en assistent. Da historikken voksede til fyrre sessioner, fladede læsningen bag hvert svar fra Duplex ud, og hvor en kendsgerning havde ændret sig, svarede den med den aktuelle.
LongMemEval, af Wu et al., ICLR 2025. Benchmarken →
Interne benchmarks. Alle tal på denne side kommer fra test, som Vareon selv har kørt, og er ikke blevet uafhængigt verificeret. Læs ansvarsfraskrivelsen
- 96%*Aktuelle svar, hvor en kendsgerning havde ændret sigDen nye kendsgerning, ikke den gamle
- 3.7×*Mindre læsning pr. spørgsmål end at læse hele historikkenVed fyrre sessioners historik
- 84%*Nøjagtighed ved fyrre sessioners historik
* Tal fra Vareons interne benchmarks, ikke uafhængigt verificeret. Læs ansvarsfraskrivelsen
Tidligt i historikken angives et faktum: teamet bruger leverandør A.*
Sådan blev det kørt.
- Benchmark
- LongMemEval, af Wu et al. (ICLR 2025), fra den rensede offentlige udgivelse.
- Arbejdet
- Besvar et spørgsmål om en lang chathistorik mellem en person og en assistent.
- Historikker
- De sessioner, der indeholder svaret, blandet med urelaterede sessioner fra en pulje på 19,195, ved 2, 5, 10, 20 og 40 sessioner.
- Omfang
- 50 spørgsmål ved fem historikstørrelser: 250 svar for hver tilgang.
- Modeller
- GPT-5.5 læste det, hver tilgang leverede, og skrev hvert svar; en separat model bedømte dem.
Hvad det betyder for dit arbejde.
Langvarigt arbejde forbliver overkommeligt i pris.
Fra tyve til fyrre sessioner fordobledes historikken, og omkostningen for hvert svar forblev $0.032.*
Svarene følger det, der ændrede sig.
Hvor en kendsgerning havde ændret sig, svarede Duplex med den aktuelle i 96% af tilfældene.*
Den svarer i stedet for at holde sig tilbage.
Duplex afviste 5 af de 250 spørgsmål og besvarede resten.*
Se det på dit eget arbejde.
Fra din egen assistent til hver agent, din virksomhed kører, sætter et pilotprojekt Duplex på dit eget arbejde, med målepunkterne aftalt, før det går i gang.