Seis tipos de petición, de conocidas a totalmente nuevas.
Paso 1 de 7: Como antes
Maneja formulaciones nuevas y detecta los casos parecidos.
Tras aprender diez tipos de petición, Duplex los respondió con cualquier redacción y pasó a tu IA casi todo lo desconocido. Las peticiones llegaron en seis niveles, desde una redacción conocida hasta casos parecidos creados para engañarlo y peticiones de otro ámbito.
Benchmarks internos. Todas las cifras de esta página proceden de pruebas realizadas por la propia Vareon y no se han verificado de forma independiente. Lee el descargo de responsabilidad
- 7.5%*Respuestas erróneas en casos parecidosUna caché 45.3%, unas 6× más
- 98.98%*De las peticiones resueltas correctamente: bien respondidas o pasadas a tu IADuplex respondió por sí mismo el 95.78% de las peticiones conocidas
- 0.996*Puntuación al distinguir lo conocido de lo nuevo, sobre 1Una caché 0.930
* Cifras de los benchmarks internos de Vareon, no verificadas de forma independiente. Lee el descargo de responsabilidad
Los casos parecidos van a tu IA.
De cada 100 peticiones que mezclan dos aprendidas, cuántas se respondieron mal.
Paso 1 de 3: Una caché
Una caché semántica responde con lo más parecido que tiene guardado, y falla el 45.3% de los casos parecidos.*
Responde lo que sabe, y pasa el resto.
Trabajo conocido respondido, trabajo nuevo pasado, y lo bien que cada enfoque los distingue.
Paso 1 de 3: Lo conocido
Duplex respondió él mismo el 95.78% de las peticiones conocidas; una caché, el 86.44%.*
Más de tu trabajo, sin errores dados por seguros.
Lo máximo que cada enfoque pudo responder por sí mismo sin dar por seguro ni un solo error.
Paso 1 de 2: Lo conocido
Sin permitir errores de alta confianza, Duplex pudo responder él mismo el 94.8% del trabajo conocido, frente al 59.8% de una caché.*
Cómo se realizó.
- El trabajo
- Diez tipos de petición de atención al cliente y banca, con 48 formulaciones de ejemplo cada uno.
- Seis niveles
- Redactada como antes, sobre algo nuevo, en una frase nueva, un caso parecido que mezcla dos peticiones aprendidas, un tipo nunca aprendido y otro dominio.
- Puntuación
- Una petición traspasada cuenta como resuelta; responder una que debería haberse traspasado cuenta como error.
- Escala
- Una ejecución principal, y después diez ejecuciones independientes en un segundo entorno.
- Comparado con
- Una caché semántica y un clasificador con ajuste fino en línea, con los mismos ejemplos.
- Condiciones iguales
- La configuración de cada enfoque, elegida en un conjunto de validación aparte con la misma regla, nunca en el conjunto de prueba.
Qué significa para tu trabajo.
Respuestas baratas en las que puedes confiar.
Duplex respondió por sí mismo el 95.78% del trabajo conocido, y pasó casi todos los casos parecidos a tu IA.*
Una formulación nueva sigue siendo trabajo conocido.
Reformuladas, reconstruidas o sobre detalles nuevos, las peticiones aprendidas se respondieron, y bien.
Lo desconocido va a tu IA.
Los tipos nuevos de petición y los de otros dominios se pasaron casi siempre: el 3.2% se respondió de todos modos.*
Siguiente: Planifica la ruta más corta, con cero tokens de modelo.Leerlo →
Compruébalo con tu propio trabajo.
De tu propio asistente a cada agente que ejecuta tu empresa, un piloto pone Duplex en tu propio trabajo, con las métricas acordadas antes de empezar.