Håndterer nye formuleringer og opdager dobbeltgængerne.
Efter at have lært ti typer forespørgsler besvarede Duplex dem i enhver formulering og overdrog næsten alt ukendt til din AI. Forespørgslerne kom på seks niveauer, fra velkendt formulering til dobbeltgængere bygget til at narre den og forespørgsler fra et andet domæne.
Interne benchmarks. Alle tal på denne side kommer fra test, som Vareon selv har kørt, og er ikke blevet uafhængigt verificeret. Læs ansvarsfraskrivelsen
- 7.5%*Forkerte svar på dobbeltgængereEn cache 45.3%, omkring 6× flere
- 98.98%*Af forespørgslerne håndteret korrekt: besvaret rigtigt eller givet videre til din AIDuplex besvarede selv 95.78% af de kendte forespørgsler
- 0.996*Score for at skelne velkendt fra nyt, ud af 1En cache 0.930
* Tal fra Vareons interne benchmarks, ikke uafhængigt verificeret. Læs ansvarsfraskrivelsen
Seks slags forespørgsler, fra velkendte til helt nye.
Trin 1 af 7: Som før
Dobbeltgængere går til din AI.
Ud af hver 100 forespørgsler, der blander to lærte, hvor mange der blev besvaret forkert.
Trin 1 af 3: En cache
En semantisk cache svarer med det nærmeste, den har gemt, og får 45.3% af dobbeltgængerne forkert.*
Den besvarer det, den ved, og sender resten videre.
Kendt arbejde besvaret, nyt arbejde sendt videre, og hvor godt hver tilgang skelner mellem dem.
Trin 1 af 3: Kendt arbejde
Duplex besvarede selv 95.78% af de kendte forespørgsler, mod 86.44% for en cache.*
Mere af dit arbejde uden selvsikre fejl.
Det meste, hver tilgang kunne besvare selv uden at begå en eneste selvsikker fejl.
Trin 1 af 2: Kendt arbejde
Når ingen selvsikre fejl var tilladt, kunne Duplex selv besvare 94.8% af det kendte arbejde, mod 59.8% for en cache.*
Sådan blev det kørt.
- Arbejdet
- Ti typer forespørgsler fra kundesupport og bank, med 48 eksempelformuleringer hver.
- Seks niveauer
- Formuleret som før, om noget nyt, i en ny sætning, en dobbeltgænger, der blander to lærte forespørgsler, en slags, der aldrig er lært, og et andet domæne.
- Bedømmelse
- En forespørgsel, der gives videre, tæller som håndteret; at besvare en, der burde have været givet videre, tæller som en fejl.
- Omfang
- Én hovedkørsel, derefter ti uafhængige kørsler i en anden opstilling.
- Sammenlignet med
- En semantisk cache og en online finjusteret klassifikator med de samme eksempler.
- Holdt ens
- Hver tilgangs indstilling valgt på et separat valideringssæt efter den samme regel, aldrig på testsættet.
Hvad det betyder for dit arbejde.
Billige svar, du kan stole på.
Duplex besvarede selv 95.78% af det kendte arbejde og gav næsten hver dobbeltgænger videre til din AI.*
Ny formulering er stadig velkendt arbejde.
Omformulerede, ombyggede eller om nye detaljer: lærte forespørgsler blev besvaret, og besvaret rigtigt.
Det ukendte går til din AI.
Nye slags forespørgsler og andre domæner blev sendt videre næsten hver gang: 3.2% blev besvaret alligevel.*
Næste: Planlægger den korteste rute med nul modeltokens.Læs det →
Se det på dit eget arbejde.
Fra din egen assistent til hver agent, din virksomhed kører, sætter et pilotprojekt Duplex på dit eget arbejde, med målepunkterne aftalt, før det går i gang.