Quando utilizar modelos de linguagem pequenos em vez de modelos de linguagem grandes

Os modelos de linguagem grandes (LLMs) continuam a caminhar na corda bamba entre eficiência e confiança. Os utilizadores consideram-nos eficazes, mas duvidam da sua precisão.

Também podem ser excessivos para alguns casos de uso. Por exemplo, usar LLMs pode não ser a melhor escolha para todas as tarefas internas de RH, dados os seus elevados custos computacionais.

Em todos estes conflitos, um novo tipo de modelo está a ganhar terreno: modelos de linguagem pequenos (SLMs). Estes são modelos mais simples treinados num conjunto de dados menor para executar uma função muito específica. Cumpre todos os requisitos de alta eficiência, mais confiança e baixo custo.

Alguns estudos recentes também afirmam que os modelos de linguagem pequenos são o futuro da IA Agente. Neste artigo, listei casos de uso onde um SLM seria mais eficiente do que um LLM.

Principais casos de uso de SLM em diferentes funções empresariais

Se está a questionar-se por onde começar a sua jornada com SLM, compilei abaixo os melhores casos de uso de SLM em funções empresariais comuns. 

Atendimento ao cliente

Os modelos LLM podem ser úteis para o atendimento ao cliente, mas com grandes ressalvas. Estes modelos são pré-treinados num vasto conjunto de dados, frequentemente extraídos da internet. Parte deste conhecimento pode ou não ser aplicável ao seu atendimento ao cliente, especialmente quando as políticas da empresa são específicas. Corre o risco de ter chatbots voltados para o cliente que alucinam. Por exemplo, um chatbot de atendimento ao cliente no site da Air Canada prometeu um reembolso por luto a um cliente contra uma política que nunca existiu.

Os SLMs fazem mais sentido para chatbots de clientes e portais de reclamações. Estes portais frequentemente lidam com problemas/consultas altamente repetitivos e têm um repositório limitado de políticas da empresa para consultar. O modelo pode ser facilmente treinado com dados de tickets de clientes anteriores e políticas da empresa. Isso é suficiente para o modelo responder aos clientes.

Claro que o SLM não consegue lidar com tudo, e onde o bot não consegue responder à consulta, pode sempre envolver um humano. Se for um chatbot, pode fornecer um número de suporte para o cliente ligar. Se for uma plataforma de gestão de tickets, o ticket pode ser resolvido automaticamente se for um problema conhecido pelo SLM, ou então ser atribuído a um executivo de suporte ao cliente. Pelo menos, pode ter a certeza de que a automação não está a prometer algo a um cliente que não é possível.

​Vendas/Marketing 

Os LLMs definitivamente destacam-se em alguns casos de uso em vendas e marketing, especialmente na criação de conteúdo. Os dados de treino mais amplos ajudam a lidar com diferentes tópicos. Mas usar LLMs para tarefas mais específicas como qualificação/nutrição de leads e alcance personalizado pode não ser a melhor escolha. As suas respostas generalizadas não darão uma boa impressão aos seus potenciais clientes.

O SLM ajuda-o a criar mensagens de alcance mais personalizadas. Pode ser treinado no seu conjunto de dados proprietário para qualificar leads. Pode redigir algumas mensagens de alcance que funcionaram para si no passado e usar modelos SLM para gerar mais mensagens de alcance com base nelas. Os SLMs ajudam-no a afastar-se de mensagens de alcance genéricas de IA.

Finanças 

Os LLMs podem ser usados para análise geral de mercado. Mas ficam para trás em tarefas de alto risco como deteção de fraudes e monitorização de conformidade. As taxas de fraude estão a aumentar tanto em contas de consumidores como de empresas. Apesar das empresas construírem sistemas de deteção de fraudes, os fraudadores continuam a encontrar novas formas de contorná-los. O modelo precisa de retreino contínuo. É aqui que o SLM brilha e o LLM fica em segundo plano.

Leva mais tempo e recursos para retreinar um LLM em comparação com um SLM. O SLM pode ser continuamente atualizado com os dados de fraude mais recentes para tornar o sistema mais robusto.

O mesmo se aplica aos dados de conformidade. Os LLMs podem até ter informações de conformidade desatualizadas, resultando em falhas. O SLM treinado num pequeno conjunto de dados é fácil de revisar e refinar para garantir que apenas os regulamentos mais recentes estão disponíveis na base de conhecimento.

Recursos Humanos 

Os LLMs são ótimos para redigir descrições gerais de trabalho, comunicação com funcionários ou conteúdo de formação. Tarefas com altos riscos de conformidade (exemplo: criação de documentos de política, acordos de emprego e documentos de imigração) são onde as coisas ficam complicadas.

Países ou mesmo estados continuam a atualizar as suas leis laborais.  Por exemplo, o governo australiano aumentou a licença parental para 24 semanas em 2025, e será estendida por mais duas semanas a partir de 2026. Nova Iorque aumenta o salário mínimo por hora para trabalhadores temporários recentemente. O Japão começou a promover o equilíbrio entre vida profissional e pessoal e arranjos de trabalho flexíveis para novos pais.

Usar LLMs significa verificar continuamente se a base de conhecimento no backend está precisa e atualizada. Deixar de fora qualquer arquivo de política antigo por engano na base de dados resultaria em alucinações.  

Modelos de linguagem pequenos significam muito mais controlo sobre a base de conhecimento e mais garantia de conformidade. Por exemplo, Deel AI é um modelo de linguagem pequeno curado pelos seus especialistas em conformidade. Estes especialistas atualizam continuamente a base de conhecimento para que obtenha as respostas mais atualizadas e precisas.

Operações de negócio

Uma nova pesquisa de adoção de IA da G2 mostra que quase 75% das empresas usam múltiplos recursos de IA nas operações diárias de negócios. A IA está a impulsionar a eficiência operacional e a melhorar a produtividade. Tanto o SLM quanto o LLM têm um papel a desempenhar nisso.

Os LLMs destacam-se em tarefas estratégicas como gestão de risco, previsão de demanda, revisão de fornecedores e mais. A sua vasta base de conhecimento ajuda-o a considerar todos os ângulos antes de fazer uma sugestão. Por outro lado, o SLM funciona melhor para trabalho repetitivo. Pense em gestão de faturas, rastreamento de envios, otimização de rotas, verificações de antecedentes ou manutenção preditiva. As tarefas podem ser executadas com um conjunto limitado de regras e dados passados da empresa.

As empresas estão a beneficiar do uso de SLM em tarefas rotineiras e repetitivas. Por exemplo, a Checkr, uma plataforma de verificação de antecedentes de funcionários, mudou de LLM para SLM para automatizar verificações de antecedentes e viu melhor precisão, tempos de resposta mais rápidos e uma redução de 5X nos custos.

SLM vs LLM: Quem vence a batalha?

Na comparação entre SLM e LLM, a resposta não é escolher entre SLM e LLM. A melhor abordagem é usá-los juntos como um modelo híbrido. Tanto o SLM quanto o LLM têm os seus próprios pontos fortes e fracos. O SLM faz um bom trabalho em tarefas com escopos bem definidos e conjuntos de dados limitados. Mas para tarefas que exigem raciocínio, o LLM é uma escolha muito melhor.

Vamos tomar a gestão da cadeia de suprimentos como exemplo. Uma abordagem híbrida é melhor para a gestão da cadeia de suprimentos onde:

• O LLM assume tarefas estratégicas como análise de risco, previsão de demanda e mais
• O SLM automatiza tarefas operacionais de alto volume e repetitivas, como gestão de rotas, processamento de faturas, etc.

Usar tanto SLM quanto LLM juntos cria um modelo completo para lidar com todos os detalhes da cadeia de suprimentos. ​

Principais modelos SLM prontos para treino personalizado

Uma coisa boa sobre começar com a sua implementação de SLM é que existem modelos disponíveis para ajuste fino. Pode escolher um destes dependendo do seu caso de uso:

1. Meta Llama 3.1 (8B parâmetros): Um modelo de alta eficiência que se destaca para casos de uso que requerem suporte multilíngue
2. Microsoft Phi-3 (3.8B parâmetros): Um modelo pequeno perfeito quando tem uma tarefa super específica que requer forte raciocínio.
3. Google Gemma 2 (2B parâmetros): Um modelo leve com capacidades multimodais, ajudando-o a lidar com texto e imagens.

Usar SLMs nunca foi tão fácil

Com mais modelos SLM a serem lançados, nem precisa de criar nenhum modelo do zero. Basta escolher um modelo existente que se adapte ao seu caso de uso, construir uma base de conhecimento de informações para ele, e está pronto para começar.  

\n