Stały koszt czytania, niezależnie od długości historii.
LongMemEval zadaje pytania o długie historie czatów między człowiekiem a asystentem. Gdy historia urosła do czterdziestu sesji, ilość czytania stojąca za każdą odpowiedzią Duplex przestała rosnąć, a tam, gdzie fakt się zmienił, odpowiadał aktualnym.
LongMemEval, autorstwa Wu i in., ICLR 2025. Benchmark →
Wewnętrzne benchmarki. Wszystkie liczby na tej stronie pochodzą z testów, które Vareon przeprowadził samodzielnie, i nie zostały niezależnie zweryfikowane. Przeczytaj zastrzeżenia
- 96%*Aktualne odpowiedzi tam, gdzie fakt się zmieniłNowy fakt, nie stary
- 3.7×*Mniej czytania na pytanie niż przy czytaniu całej historiiPrzy czterdziestu sesjach historii
- 84%*Dokładność przy czterdziestu sesjach historii
* Liczby z wewnętrznych benchmarków Vareon, niezweryfikowane niezależnie. Przeczytaj zastrzeżenia
Na początku historii pada fakt: zespół korzysta z dostawcy A.*
Jak go przeprowadzono.
- Benchmark
- LongMemEval, autorstwa Wu i in. (ICLR 2025), z oczyszczonej wersji publicznej.
- Praca
- Odpowiedz na pytanie o długą historię czatu między człowiekiem a asystentem.
- Historie
- Sesje zawierające odpowiedź, wymieszane z niepowiązanymi sesjami z puli 19,195, przy 2, 5, 10, 20 i 40 sesjach.
- Skala
- 50 pytań przy pięciu rozmiarach historii: 250 odpowiedzi dla każdego podejścia.
- Modele
- GPT-5.5 czytał to, co dostarczyło każde podejście, i pisał każdą odpowiedź; oceniał je osobny model.
Co to oznacza dla twojej pracy.
Długotrwała praca pozostaje przystępna cenowo.
Od dwudziestu do czterdziestu sesji historia się podwoiła, a koszt każdej odpowiedzi pozostał na poziomie $0.032.*
Odpowiedzi nadążają za zmianami.
Tam, gdzie fakt się zmienił, Duplex odpowiadał aktualnym w 96% przypadków.*
Odpowiada, zamiast się wstrzymywać.
Duplex odmówił odpowiedzi na 5 z 250 pytań, a na resztę odpowiedział.*
Zobacz to na własnej pracy.
Od twojego własnego asystenta po każdego agenta, którego uruchamia twoja firma: pilotaż uruchamia Duplex na twojej własnej pracy, ze wskaźnikami uzgodnionymi przed startem.