O que o Duplex entrega, em números.
Cada número ao lado do que superou: o modelo sozinho, uma cache, a recuperação ou a afinação.
Benchmarks internos. Todos os valores desta página provêm de testes realizados pela própria Vareon e não foram verificados de forma independente. Leia o aviso legal
- −90.3%*Chamadas ao modelo, com mais precisão94.6% de precisão, contra 59.8% do modelo sozinho
- 0%*Respostas desatualizadas depois de uma mudança de regraCache e recuperação: 72%
- 6 / 6*Testes em que o Duplex superou a afinação+30.3 pontos em média, sem execução de treino
- 3 / 3*Modelos de fronteira superados a prever mudanças no sistemaNum benchmark empresarial público, sem chamadas ao modelo
* Valores obtidos nos benchmarks internos da Vareon, não verificados de forma independente. Leia o aviso legal
Um fluxo de 3,000 decisões, de três formas.
Passo 1 de 3: Precisão
Todos os resultados.
* Valores obtidos nos benchmarks internos da Vareon, não verificados de forma independente. Leia o aviso legal
90% menos chamadas ao modelo, e mais preciso.*
- −90.3% Chamadas à IA · −84.8% de custo · −81.9% de latência*
- ~23× Mais rápido se aprendido · ≈97 ms contra ≈2,231 ms*
Um fluxo de 3,000 decisões em que as regras mudaram cinco vezes, contra o modelo de fronteira sozinho e com uma cache semântica; uma execução de 300 decisões acrescentou uma cache com recuperação e um grafo de conhecimento. Todas as abordagens usaram o mesmo modelo.
Mais preciso em todas as configurações, a um sétimo do custo.
94.1 a 94.8%*Precisão do Duplex, em cada uma das oito configuraçõesO melhor que uma cache alcançou: 77.3%- 84 a 91% Em três execuções novas de 1,000 decisões · O melhor que uma cache alcançou: cerca de 73%*
Um fluxo de 3,000 decisões com cada abordagem testada em toda a sua gama de configurações, e depois três execuções novas de 1,000 decisões num segundo ambiente de teste, independente.
Continua a aprender sem esquecer, sem ficar desatualizado e sem crescer.
5 / 5*Requisitos para aprender em produção, todos cumpridos em todas as execuçõesCache e recuperação: média de 2.2 / 5 · afinação online: 4 / 5- 0% Respostas desatualizadas depois de uma mudança de política · Cache e recuperação 72%*
- Constante Pegada ao longo do tempo · A cache e a recuperação cresceram até ≈1,300 linhas*
Dez execuções, com a mesma supervisão e as mesmas entradas para todas as abordagens.
Lida com novas formulações, e deteta os casos parecidos.
- 98.98% Dos pedidos tratados corretamente: bem respondidos, ou passados à sua IA · O Duplex respondeu ele próprio a 95.78% dos pedidos conhecidos*
- 0.996 Pontuação a distinguir o familiar do novo, em 1 · Uma cache 0.930*
Dez intenções aprendidas e seis níveis de novidade, de repetições exatas a pedidos de outro domínio, em dez execuções.
Planeia o caminho mais curto, com zero tokens de modelo.
100%*Sucesso dos planos, em todas as execuçõesUm agente reativo: 0% · o Duplex não usou tokens de modelo- 0% Um agente reativo guloso*
- ~204 Tokens por decisão que um modelo de fronteira gasta para o igualar*
Um mundo de vários passos em dez execuções, contra um agente reativo e um modelo de fronteira com a mesma tarefa.
Mantém o sucesso das tarefas dos agentes, com menos chamadas ao modelo.
Τ-bench (tau2-bench), retalho, de Sierra Research. O ambiente de retalho sem alterações, com o mesmo modelo, as mesmas ferramentas e o mesmo simulador de utilizador para todas as abordagens, em três execuções de quarenta episódios.
Um custo de leitura estável, por mais longo que seja o histórico.
- 3.7× Menos leitura por pergunta do que ler o histórico inteiro · Com quarenta sessões de histórico*
- 84% Precisão com quarenta sessões de histórico*
LongMemEval, de Wu et al., ICLR 2025. Cinquenta perguntas, cada uma feita com o histórico em 2, 5, 10, 20 e 40 sessões.
Bloqueia todos os ataques, e deixa passar o trabalho normal.
- 0.7% Falsas recusas · O mais baixo das abordagens que bloquearam todos os ataques*
- 40 / 40 Amostras envenenadas removidas · Precisão a menos de 1 ponto*
Seis famílias de ataques, parafraseados, com pedidos inofensivos escritos para se parecerem com os ataques.
Aprende uma nova competência sozinho, com o modelo desligado.
100%*Tarefas concluídas com o modelo desligado, em todas as execuçõesUm modelo de fronteira precisou de ≈507 chamadas por execução- 0.26 ms Para reutilizar uma competência · Com 0 chamadas ao modelo*
- 627 Ações inseguras recusadas por execução · E a competência segura foi aprendida na mesma*
Quatro conjuntos de testes em dez execuções, cada um pontuado pela sua pior execução.
Superou três modelos de fronteira a prever mudanças no sistema.
0.256*Pontuação na previsão de mudanças no sistemaGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204- $0 Gasto em modelos · 570 previsões com zero chamadas; 84 num modelo de fronteira custaram $13.40*
- ~80% Decisões respondidas a partir do que aprendeu · A sua IA tratou do resto*
World of Workflows, de Skyfall Research / ServiceNow. Três vertentes offline, pontuadas pelo próprio avaliador dos autores do benchmark, em três execuções.
Supera a afinação, sem nenhuma execução de treino.
- 0 Retreino para passar para outra família de modelos · Os adaptadores passaram em 0 de 6*
- 60 a 79% Respondido com base no que aprendeu · Em qualquer das famílias de modelos*
Três conjuntos de dados públicos de intenções, duas famílias de modelos abertos e três execuções, com o mesmo modelo congelado e os mesmos dados para todas as abordagens.
Veja-o no seu próprio trabalho.
Do seu próprio assistente a cada agente que a sua empresa opera, um piloto põe o Duplex no seu próprio trabalho, com as métricas acordadas antes de começar.