Håndterer nye formuleringer, og oppdager dobbeltgjengerne.
Etter å ha lært ti typer forespørsler besvarte Duplex dem uansett ordlyd og overleverte nesten alt ukjent til KI-en din. Forespørslene kom på seks nivåer, fra kjent ordlyd til dobbeltgjengere laget for å lure den og forespørsler fra et annet domene.
Interne benchmarker. Alle tallene på denne siden kommer fra tester som Vareon selv har kjørt, og er ikke uavhengig verifisert. Les ansvarsfraskrivelsen
- 7.5%*Gale svar på dobbeltgjengereEn cache 45.3%, rundt 6× mer
- 98.98%*Av forespørslene håndtert riktig: besvart riktig, eller gitt til KI-en dinDuplex besvarte 95.78% av kjente forespørsler selv
- 0.996*Poengsum for å skille kjent fra nytt, av 1En cache 0.930
* Tall fra Vareons interne benchmarker, ikke uavhengig verifisert. Les ansvarsfraskrivelsen
Seks typer forespørsler, fra kjente til helt nye.
Steg 1 av 7: Som før
Dobbeltgjengere går til KI-en din.
Per 100 forespørsler som blander to lærte forespørsler: hvor mange som ble besvart feil.
Steg 1 av 3: En cache
En semantisk cache svarer med det nærmeste den har lagret, og tar feil på 45.3% av dobbeltgjengerne.*
Den svarer på det den kan, og sender resten videre.
Kjent arbeid besvart, nytt arbeid sendt videre, og hvor godt hver tilnærming skiller dem fra hverandre.
Steg 1 av 3: Kjent arbeid
Duplex svarte selv på 95.78% av kjente forespørsler, mot 86.44% for en cache.*
Mer av arbeidet ditt, uten selvsikre feil.
Det meste hver tilnærming kunne besvare selv uten å gjøre en eneste selvsikker feil.
Steg 1 av 2: Kjent arbeid
Uten at noen selvsikre feil var tillatt, kunne Duplex svare selv på 94.8% av kjent arbeid, mot 59.8% for en cache.*
Slik ble det kjørt.
- Arbeidet
- Ti typer forespørsler fra kundestøtte og bank, med 48 eksempelformuleringer hver.
- Seks nivåer
- Formulert som før, om noe nytt, i en ny setning, en dobbeltgjenger som blander to lærte forespørsler, en type som aldri er lært, og et annet domene.
- Poengberegning
- En forespørsel som gis videre, regnes som håndtert; å svare på en som skulle vært gitt videre, regnes som en feil.
- Omfang
- Én hovedkjøring, deretter ti uavhengige kjøringer i et andre oppsett.
- Sammenlignet med
- En semantisk cache og en fortløpende finjustert klassifikator, med de samme eksemplene.
- Holdt likt
- Innstillingen for hver tilnærming valgt på et eget valideringssett etter den samme regelen, aldri på testsettet.
Hva det betyr for arbeidet ditt.
Billige svar du kan stole på.
Duplex besvarte 95.78% av kjent arbeid selv, og ga nesten hver dobbeltgjenger til KI-en din.*
Ny formulering er fortsatt kjent arbeid.
Omformulert, bygget om eller om nye detaljer: lærte forespørsler ble besvart, og besvart riktig.
Det ukjente går til KI-en din.
Nye typer forespørsler og andre domener ble sendt videre nesten hver gang: 3.2% ble besvart likevel.*
Neste: Planlegger den korteste veien, med null modelltokens.Les det →
Se det på ditt eget arbeid.
Fra din egen assistent til hver agent bedriften din kjører, setter en pilot Duplex på ditt eget arbeid, med måltallene avtalt før den starter.