De nouveaux modèles de langage sortent tous les quelques mois, et chacun est présenté comme le meilleur. Pour une équipe produit, la question utile est autre : quel modèle résout notre tâche de façon fiable, à un prix et une vitesse acceptables, sans enfreindre nos règles de confidentialité ?
Partir de la tâche, pas du classement
Les classements publics mesurent des capacités générales. Votre produit a besoin de quelque chose de plus précis : classer des demandes, extraire des champs de documents, répondre sur un ton donné, écrire du code ou raisonner sur de longs textes. Rassemblez cinquante à cent exemples réels avec les réponses attendues et testez plusieurs modèles dessus. L’écart entre modèles sur vos propres données diffère souvent beaucoup de celui des tests publics.
Calculer le coût par requête
Le prix dépend du volume de texte envoyé et reçu. Un modèle légèrement meilleur mais cinq fois plus cher ne se justifie parfois que pour une petite part de requêtes complexes. Une approche courante est le routage : un modèle rapide et économique traite les cas simples, et seuls les cas difficiles sont envoyés à un modèle plus puissant.
Vérifier la vitesse et les limites
Pour un chat ou une interface où l’utilisateur attend, le temps de réponse compte autant que la qualité. Pour un traitement en arrière-plan, le débit et les limites de requêtes comptent davantage. Testez les deux sous une charge réaliste avant de vous engager.
Décider où les données peuvent aller
Certaines données ne peuvent pas quitter votre infrastructure ou une région donnée : données personnelles, contrats, informations médicales ou financières. Dans ce cas, tournez-vous vers des fournisseurs aux conditions de traitement adaptées ou vers des modèles ouverts exécutables sur vos propres serveurs. Prenez cette décision tôt : elle réduit souvent la liste plus que n’importe quel test.
Éviter la dépendance
Les modèles évoluent vite. Gardez dans le code une fine couche entre le produit et le fournisseur, stockez prompts et jeux de test à part, et vous pourrez changer ou combiner les modèles quand une meilleure option apparaîtra.
En résumé
Choisissez un modèle en le testant sur vos propres exemples, en calculant le coût réel par requête, en vérifiant la vitesse sous charge et en respectant vos règles sur les données. Concevez le système pour que le modèle soit remplaçable.