Supera a afinação, sem nenhuma execução de treino.
O Duplex fez um modelo congelado comportar-se como se tivesse sido afinado, e superou o melhor adaptador de uma bateria ajustada de LoRA, QLoRA e DoRA nos seis testes: três conjuntos de dados públicos de intenções em duas famílias de modelos abertos, com três execuções cada.
Benchmarks internos. Todos os valores desta página provêm de testes realizados pela própria Vareon e não foram verificados de forma independente. Leia o aviso legal
- 6 / 6*Testes em que o Duplex superou um adaptador afinado+30.3 pontos em média
- 0*Retreino para passar para outra família de modelosOs adaptadores passaram em 0 de 6
- 60 a 79%*Respondido com base no que aprendeuEm qualquer das famílias de modelos
* Valores obtidos nos benchmarks internos da Vareon, não verificados de forma independente. Leia o aviso legal
Um modelo congelado, adaptado sem lhe tocar.
Passo 1 de 5: Congelado
À frente nos seis testes.
Precisão no BANKING77, no CLINC150 e no HWU64, com o Qwen2.5 e o SmolLM2.
Passo 1 de 3: Congelado
Sozinhos, os modelos congelados pontuaram entre 11% e 49% nos seis testes.*
Continua a aprender em serviço.
À medida que chegam exemplos verificados, o Duplex responde mais vezes sozinho, e continua a acertar.
Passo 1 de 3: 40 exemplos
Após 40 exemplos verificados, o Duplex respondeu sozinho a 1.7% dos pedidos, sem nenhum erro.*
Onde o Duplex vai mais longe do que a afinação.
Capacidade geral, remoção, mudança de modelo e pedidos repetidos, lado a lado.
Passo 1 de 4: Conhecimento geral
Numa verificação de conhecimento geral, o Duplex deixou o modelo inalterado nos seis testes. O adaptador custou-lhe 1 a 4 pontos.*
Como foi feito.
- A tarefa
- Classificação de intenções: ler uma mensagem e devolver exatamente um rótulo de intenção.
- Conjuntos de dados
- BANKING77 (77 intenções), CLINC150 (151) e HWU64 (64), todos públicos.
- Modelos
- Qwen2.5-1.5b-instruct e SmolLM2-1.7b-instruct, congelados.
- Escala
- 300 exemplos de treino por execução, três execuções para cada conjunto de dados e família de modelos: 18 execuções.
- Comparado com
- O modelo congelado sozinho, e o melhor adaptador de um varrimento ajustado de LoRA, QLoRA e DoRA.
- Igual para todos
- O mesmo modelo congelado, os mesmos dados, as mesmas divisões, o mesmo prompt e a mesma análise das respostas para todas as abordagens.
O que significa para o seu trabalho.
Adaptação sem execução de treino.
O Duplex superou o adaptador ajustado em todos os testes, por 30.3 pontos em média.*
O seu modelo continua a ser o seu modelo.
O conhecimento geral do modelo ficou inalterado, e o que o Duplex aprendeu pode ser removido, coisa a coisa, com exatidão.
Mude de modelo à vontade.
O que o Duplex aprendeu passou para a outra família de modelos sem retreino.
Veja-o no seu próprio trabalho.
Do seu próprio assistente a cada agente que a sua empresa opera, um piloto põe o Duplex no seu próprio trabalho, com as métricas acordadas antes de começar.