Slår finjustering, utan träningskörning.
Duplex fick en fryst modell att bete sig som om den hade finjusterats, och slog den bästa adaptern från ett optimerat svep av LoRA, QLoRA och DoRA i alla sex tester: tre offentliga datamängder med avsikter på två öppna modellfamiljer, tre körningar vardera.
Interna benchmarktester. Alla siffror på denna sida kommer från tester som Vareon själv har genomfört och har inte oberoende verifierats. Läs ansvarsfriskrivningen
- 6 / 6*Tester där Duplex slog en finjusterad adapter+30.3 procentenheter i snitt
- 0*Omträning för att flytta till en annan modellfamiljAdaptrarna gick att flytta i 0 av 6
- 60 till 79%*Besvarat utifrån det den lärt sigPå båda modellfamiljerna
* Siffror från Vareons interna benchmarktester, inte oberoende verifierade. Läs ansvarsfriskrivningen
En fryst modell, anpassad utan att röras.
Steg 1 av 5: Fryst
Före i alla sex tester.
Träffsäkerhet på BANKING77, CLINC150 och HWU64, med Qwen2.5 och SmolLM2.
Steg 1 av 3: Fryst
På egen hand fick de frysta modellerna mellan 11% och 49% i de sex testerna.*
Den fortsätter att lära sig i arbetet.
När verifierade exempel kommer in besvarar Duplex mer själv, och fortsätter att ha rätt.
Steg 1 av 3: 40 exempel
Efter 40 verifierade exempel besvarade Duplex 1.7% av förfrågningarna själv, alla rätt.*
Där Duplex går längre än finjustering.
Generell förmåga, borttagning, modellbyten och upprepade förfrågningar, sida vid sida.
Steg 1 av 4: Allmän förmåga
I en kontroll av allmänkunskap lämnade Duplex modellen oförändrad i alla sex tester. Adaptern kostade den 1 till 4 poäng.*
Så genomfördes det.
- Uppgiften
- Avsiktsklassificering: läs ett meddelande och returnera exakt en avsiktsetikett.
- Dataset
- BANKING77 (77 avsikter), CLINC150 (151) och HWU64 (64), alla offentliga.
- Modeller
- Qwen2.5-1.5b-instruct och SmolLM2-1.7b-instruct, frysta.
- Omfattning
- 300 träningsexempel per körning, tre körningar för varje dataset och modellfamilj: 18 körningar.
- Jämfört med
- Den frysta modellen ensam, och den bästa adaptern från ett inställningssvep över LoRA, QLoRA och DoRA.
- Lika för alla
- Samma frysta modell, data, uppdelningar, prompt och tolkning av svar för alla metoder.
Vad det betyder för ditt arbete.
Anpassning utan träningskörning.
Duplex slog den justerade adaptern i varje test, med i snitt 30.3 procentenheter.*
Din modell förblir din modell.
Dess allmänna kunskap var oförändrad, och varje enskild sak som Duplex har lärt sig kan tas bort exakt.
Byt modell fritt.
Det Duplex hade lärt sig flyttade till den andra modellfamiljen utan omträning.
Se det i ditt eget arbete.
Från din egen assistent till varje agent ditt företag kör sätter en pilot Duplex på ditt eget arbete, med mätetal som avtalas innan den börjar.