Bat le fine-tuning, sans aucun entraînement.
Duplex a fait se comporter un modèle figé comme s’il avait été fine-tuné, et a battu le meilleur adaptateur issu d’un balayage optimisé de LoRA, QLoRA et DoRA dans les six tests : trois jeux de données publics d’intentions sur deux familles de modèles ouverts, trois exécutions chacun.
Benchmarks internes. Tous les chiffres de cette page proviennent de tests menés par Vareon en interne et n’ont pas été vérifiés de manière indépendante. Lire l’avertissement
- 6 / 6*Tests où Duplex a battu un adaptateur fine-tuné+30.3 points en moyenne
- 0*Réentraînement pour passer à une autre famille de modèlesLes adaptateurs ont migré dans 0 cas sur 6
- 60 à 79%*Réponse tirée de ce qu’il a apprisSur l’une comme l’autre famille de modèles
* Chiffres issus des benchmarks internes de Vareon, non vérifiés de manière indépendante. Lire l’avertissement
Un modèle figé, adapté sans y toucher.
Étape 1 sur 5 : Figé
Devant dans les six tests.
Précision sur BANKING77, CLINC150 et HWU64, avec Qwen2.5 et SmolLM2.
Étape 1 sur 3 : Figé
Seuls, les modèles figés ont obtenu entre 11% et 49% sur les six tests.*
Il continue d’apprendre en service.
À mesure que des exemples vérifiés arrivent, Duplex répond davantage lui-même, et reste juste.
Étape 1 sur 3 : 40 exemples
Après 40 exemples vérifiés, Duplex a répondu seul à 1.7% des requêtes, et toujours juste.*
Là où Duplex va plus loin que le fine-tuning.
Aptitudes générales, retrait, changement de modèle et requêtes répétées, côte à côte.
Étape 1 sur 4 : Savoir général
Sur une épreuve de culture générale, Duplex a laissé le modèle inchangé dans les six tests. L’adaptateur lui a coûté de 1 à 4 points.*
Comment il a été mené.
- La tâche
- Classification d’intentions : lire un message et renvoyer exactement une étiquette d’intention.
- Jeux de données
- BANKING77 (77 intentions), CLINC150 (151) et HWU64 (64), tous publics.
- Modèles
- Qwen2.5-1.5b-instruct et SmolLM2-1.7b-instruct, figés.
- Échelle
- 300 exemples d’entraînement par exécution, trois exécutions pour chaque jeu de données et famille de modèles : 18 exécutions.
- Comparé à
- Le modèle figé seul, et le meilleur adaptateur issu d’un balayage d’hyperparamètres de LoRA, QLoRA et DoRA.
- Conditions égales
- Le même modèle figé, les mêmes données, découpages, prompt et analyse des réponses pour toutes les approches.
Ce que cela signifie pour votre travail.
L’adaptation sans entraînement.
Duplex a battu l’adaptateur optimisé dans chaque test, de 30.3 points en moyenne.*
Votre modèle reste votre modèle.
Ses connaissances générales sont restées inchangées, et chaque chose que Duplex a apprise peut être retirée exactement.
Changez de modèle librement.
Ce que Duplex a appris est passé à l’autre famille de modèles sans réentraînement.
Voyez-le sur votre propre travail.
De votre propre assistant à chaque agent qu’exploite votre entreprise, un pilote fait tourner Duplex sur votre propre travail, avec des indicateurs convenus avant son lancement.