Zadania agentów nadal kończą się sukcesem, przy mniejszej liczbie wywołań modelu.
Τ-bench stawia agenta AI przy obsłudze klienta sklepu detalicznego, z własnymi narzędziami sklepu, jego pisemną polityką i klientami, którzy zmieniają zdanie. Duplex pracował obok modelu agenta w każdej turze każdej rozmowy.
Τ-bench, autorstwa Sierra Research. Benchmark →
Wewnętrzne benchmarki. Wszystkie liczby na tej stronie pochodzą z testów, które Vareon przeprowadził samodzielnie, i nie zostały niezależnie zweryfikowane. Przeczytaj zastrzeżenia
- 83.3%*Udane zadaniaModel w każdej turze: 82.5%
- 12.8%*Tury wykonane bez modelu≈15% mniej wywołań modelu
- 100%*Skuteczność w nowych zadaniach
* Liczby z wewnętrznych benchmarków Vareon, niezweryfikowane niezależnie. Przeczytaj zastrzeżenia
Jedna rozmowa, tura po turze.
Krok 1 z 6: Klient
Tak samo skuteczny jak wywoływanie modelu w każdej turze.
Skuteczność zadań w 120 rozmowach i w zadaniach, których agent nigdy wcześniej nie widział.
Krok 1 z 2: Każde zadanie
Duplex ukończył 83.3% zadań. Model w każdej turze ukończył 82.5%.*
Pomija wywołanie tylko w turach, których się nauczył.
W każdych 100 turach, kto wykonał każdą z nich i czy zadanie nadal się powiodło.
Krok 1 z 3: Każda tura
Przy modelu w każdej turze każda tura to wywołanie, a udaje się 82.5% zadań.*
Mniej wywołań i ukończone zadania jednocześnie.
Tury wykonane bez modelu w zestawieniu ze skutecznością zadań, dla każdego podejścia w teście.
Krok 1 z 3: Co wywołanie
Cztery podejścia wywołują model w każdej turze; ich skuteczność waha się od 83.3% do 0.8%.*
Jak go przeprowadzono.
- Benchmark
- Τ-bench (tau2-bench 1.0), handel detaliczny, autorstwa Sierra Research: publiczny i open source.
- Praca
- Wieloturowe rozmowy z symulowanymi klientami sklepu, z użyciem własnych narzędzi sklepu zgodnie z jego spisaną polityką.
- Skala
- Trzy przebiegi po czterdzieści rozmów dla każdego podejścia.
- Modele
- GPT-5.5 jako agent dla każdego podejścia; w klienta wcielał się GPT-4.1-mini.
- Porównywane z
- Model w każdej turze, warstwa pamięci, wyszukiwanie, cache semantyczny i kontekst z grafu wiedzy.
- Jednakowe warunki
- Te same narzędzia, polityka, klient i model agenta dla każdego podejścia; Duplex działał jako usługa na żywo.
Co to oznacza dla twojej pracy.
Twoi agenci nadal kończą zadania.
Skuteczność zadań dorównała modelowi wywoływanemu w każdej turze, a Duplex wykonywał tury, których się nauczył.
Nowa praca nadal zostaje wykonana.
Duplex ukończył każde nowe zadanie w teście: to, czego się nie nauczył, trafia do twojego modelu.
Oszczędności, które nie psują rozmów.
Duplex pomija wywołanie tylko w turze, której się nauczył. Cache odtwarzał zapisane odpowiedzi w środku rozmowy i ukończył 8.3% zadań.*
Dalej: Stały koszt czytania, niezależnie od długości historii.Przeczytaj →
Zobacz to na własnej pracy.
Od twojego własnego asystenta po każdego agenta, którego uruchamia twoja firma: pilotaż uruchamia Duplex na twojej własnej pracy, ze wskaźnikami uzgodnionymi przed startem.