El historial se duplica. La lectura se estabiliza.
Paso 1 de 4: El historial
Un coste de lectura estable, por largo que sea el historial.
LongMemEval hace preguntas sobre historiales de chat largos entre una persona y un asistente. A medida que el historial creció hasta cuarenta sesiones, la lectura necesaria para cada respuesta de Duplex se estabilizó, y cuando un dato había cambiado, respondió con el actual.
LongMemEval, de Wu et al., ICLR 2025. El benchmark →
Benchmarks internos. Todas las cifras de esta página proceden de pruebas realizadas por la propia Vareon y no se han verificado de forma independiente. Lee el descargo de responsabilidad
- 96%*Respuestas actualizadas cuando un dato había cambiadoEl dato nuevo, no el antiguo
- 3.7×*Menos lectura por pregunta que leer todo el historialCon cuarenta sesiones de historial
- 84%*Precisión con cuarenta sesiones de historial
* Cifras de los benchmarks internos de Vareon, no verificadas de forma independiente. Lee el descargo de responsabilidad
Paso 1 de 4: Declarado
Al principio del historial, se afirma un dato: el equipo usa el proveedor A.*
Cómo se realizó.
- Benchmark
- LongMemEval, de Wu et al. (ICLR 2025), a partir de la versión pública depurada.
- El trabajo
- Responder a una pregunta sobre un historial de chat largo entre una persona y un asistente.
- Historiales
- Las sesiones que contienen la respuesta, mezcladas con sesiones no relacionadas de un conjunto de 19,195, con 2, 5, 10, 20 y 40 sesiones.
- Escala
- 50 preguntas con cinco tamaños de historial: 250 respuestas para cada enfoque.
- Modelos
- GPT-5.5 leyó lo que aportó cada enfoque y redactó todas las respuestas; un modelo distinto las evaluó.
Qué significa para tu trabajo.
El trabajo de larga duración sigue siendo asequible.
De veinte a cuarenta sesiones el historial se duplicó, y el coste de cada respuesta se mantuvo en $0.032.*
Las respuestas siguen lo que cambió.
Cuando un dato había cambiado, Duplex respondió con el actual el 96% de las veces.*
Responde, en lugar de abstenerse.
Duplex rechazó 5 de las 250 preguntas, y respondió el resto.*
Siguiente: Bloquea todos los ataques, y deja pasar el trabajo normal.Leerlo →
Compruébalo con tu propio trabajo.
De tu propio asistente a cada agente que ejecuta tu empresa, un piloto pone Duplex en tu propio trabajo, con las métricas acordadas antes de empezar.