A cada poucos meses surgem novos modelos de linguagem, e cada um é apresentado como o melhor. Para uma equipa de produto, a pergunta útil é outra: que modelo resolve a nossa tarefa de forma fiável, a um preço e com uma velocidade aceitáveis, sem violar as nossas regras de privacidade?
Comece pela tarefa, não pelo ranking
Os rankings públicos medem capacidades gerais. O seu produto precisa de algo mais específico: classificar pedidos, extrair campos de documentos, responder num determinado tom, escrever código ou raciocinar sobre textos longos. Reúna cinquenta a cem exemplos reais com as respostas esperadas e teste vários modelos com eles. A diferença entre modelos nos seus próprios dados é muitas vezes bem diferente da dos testes públicos.
Calcule o custo por pedido
O preço depende do volume de texto enviado e recebido. Um modelo ligeiramente melhor mas cinco vezes mais caro pode justificar-se apenas para uma pequena parte de pedidos complexos. Um padrão comum é o encaminhamento: um modelo rápido e barato trata os casos simples e só os difíceis seguem para um modelo mais poderoso.
Verifique a velocidade e os limites
Num chat ou numa interface em que o utilizador espera, o tempo de resposta conta tanto como a qualidade. No processamento em segundo plano contam mais o débito e os limites de pedidos. Teste ambos com carga realista antes de decidir.
Decida para onde os dados podem ir
Alguns dados não podem sair da sua infraestrutura ou de uma determinada região: dados pessoais, contratos, informação médica ou financeira. Nesse caso, considere fornecedores com condições de tratamento adequadas ou modelos abertos que possam correr nos seus próprios servidores. Tome esta decisão cedo: muitas vezes reduz a lista mais do que qualquer teste.
Evite ficar preso
Os modelos mudam depressa. Mantenha no código uma camada fina entre o produto e o fornecedor, guarde prompts e conjuntos de teste à parte, e poderá trocar ou combinar modelos quando surgir uma opção melhor.
Em resumo
Escolha um modelo testando-o com os seus exemplos, calculando o custo real por pedido, verificando a velocidade sob carga e respeitando as regras sobre os dados. Desenhe o sistema para que o modelo possa ser substituído.