Sigue aprendiendo sin olvidar, sin quedarse desfasado y sin crecer.
Un agente que funciona durante meses necesita cinco cosas a la vez: aprender trabajo nuevo, conservar el trabajo anterior, aceptar correcciones, mantener un tamaño fijo y saber lo que no ha aprendido. Se aprendieron diez tipos de petición uno tras otro, y después cambió la política de cuatro de ellos.
Benchmarks internos. Todas las cifras de esta página proceden de pruebas realizadas por la propia Vareon y no se han verificado de forma independiente. Lee el descargo de responsabilidad
- 5 / 5*Requisitos para aprender en producción, todos cumplidos en cada ejecuciónCaché y recuperación, 2.2 / 5 de media · ajuste fino en línea, 4 / 5
- 0%*Respuestas desfasadas tras un cambio de políticaCaché y recuperación 72%
- Constante*Tamaño a lo largo del tiempoCaché y recuperación llegaron a ≈1,300 filas
* Cifras de los benchmarks internos de Vareon, no verificadas de forma independiente. Lee el descargo de responsabilidad
Cinco requisitos, tres enfoques.
Paso 1 de 6: Aprende
Una corrección llega a todas las formulaciones.
Un cambio de política, y cuatro formas de pedir lo mismo.
Paso 1 de 4: Antes
Cuatro formulaciones de la misma petición, todas respondidas con reembolso total.*
El mismo tamaño, por mucho tiempo que funcione.
Cuánto crece cada enfoque a medida que avanza el trabajo.
Paso 1 de 3: El inicio
Al inicio, caché y recuperación tenían 128 filas.*
Diez tareas después, sigue sabiendo la primera.
Precisión justo después de aprender cada tipo de petición, y después de los diez.
Paso 1 de 2: Recién aprendido
Justo tras aprender cada tipo de petición, los tres eran precisos.*
Cómo se realizó.
- El trabajo
- Diez tipos de petición de atención al cliente y banca, desde restablecer contraseñas hasta pagos rechazados, aprendidos uno tras otro.
- La prueba
- Cada pregunta con una redacción nueva, sobre detalles que no se vieron en el entrenamiento.
- Cambio de política
- Cuatro de los diez tipos pasaron a una nueva acción correcta; las correcciones llegaron desordenadas, como las envía un revisor.
- Umbrales de aprobado
- Fijados antes de ejecutar, e iguales para todos los enfoques.
- Escala
- Una ejecución principal, y después diez ejecuciones independientes en un segundo entorno.
- Comparado con
- Caché y recuperación, un almacén de coincidencia más cercana en su mejor ajuste, y ajuste fino en línea, todos con las mismas entradas.
Qué significa para tu trabajo.
Las correcciones se mantienen en todas partes.
Tras un cambio de política, Duplex no dio ninguna respuesta desfasada en ninguna de las diez ejecuciones.
El trabajo anterior sigue intacto.
No perdió nada de su trabajo anterior, ejecución tras ejecución.
Mantiene el mismo tamaño.
Duplex no aumentó su tamaño en absoluto; un almacén de memoria creció hasta unas 1,300 filas.*
Siguiente: Maneja formulaciones nuevas y detecta los casos parecidos.Leerlo →
Compruébalo con tu propio trabajo.
De tu propio asistente a cada agente que ejecuta tu empresa, un piloto pone Duplex en tu propio trabajo, con las métricas acordadas antes de empezar.