Modelos de linguagem pequenos podem, de fato, superar modelos grandes em tarefas de raciocínio utilizando estratégias corretas de escalonamento durante os testes. Descubra mais sobre essa inovação.
No cenário atual da inteligência artificial, uma nova pesquisa revela que um modelo de linguagem pequeno, com apenas 1B de parâmetros, pode superar um modelo de 405B em tarefas de raciocínio, desde que a estratégia de escalonamento no momento do teste seja adequada.
Essa descoberta apresenta um desafio à concepção de que apenas os modelos grandes são capazes de realizar operações complexas. O estudo demonstra que, ao ajustar o modo de operação durante os testes, os modelos menores conseguem acessar habilidades ocultas de raciocínio.
Estratégias de escalonamento
Os pesquisadores estão explorando diferentes abordagens sobre como otimizar o desempenho dos pequenos modelos para garantir que eles possam competir pelo mesmo espaço que os modelos maiores.
O futuro da IA pode não depender apenas de modelos maiores e mais robustos, mas sim de uma combinação de técnicas habilidosas que aproveitam o potencial oculto dos modelos de menor porte, revelando outra camada na pesquisa em inteligência artificial.
Para um aprofundamento no tema, confira o vídeo abaixo:
