Ogni pochi mesi escono nuovi modelli linguistici, e ognuno viene presentato come il migliore. Per un team di prodotto la domanda utile è un’altra: quale modello risolve il nostro compito in modo affidabile, a un prezzo e con una velocità sostenibili, senza violare le nostre regole sulla privacy?
Parti dal compito, non dalla classifica
Le classifiche pubbliche misurano capacità generali. Il tuo prodotto ha bisogno di qualcosa di più specifico: classificare richieste, estrarre campi dai documenti, rispondere con un certo tono, scrivere codice o ragionare su testi lunghi. Raccogli da cinquanta a cento esempi reali con le risposte attese e prova diversi modelli su di essi. La differenza tra modelli sui tuoi dati è spesso molto diversa da quella dei test pubblici.
Calcola il costo per richiesta
Il prezzo dipende dalla quantità di testo inviato e ricevuto. Un modello leggermente migliore ma cinque volte più costoso può essere giustificato solo per una piccola parte di richieste complesse. Uno schema diffuso è il routing: un modello veloce ed economico gestisce i casi semplici e solo quelli difficili vanno a un modello più potente.
Verifica velocità e limiti
In una chat o in un’interfaccia dove l’utente aspetta, il tempo di risposta conta quanto la qualità. Nell’elaborazione in background contano di più throughput e limiti di richieste. Prova entrambi con un carico realistico prima di decidere.
Decidi dove possono andare i dati
Alcuni dati non possono uscire dalla tua infrastruttura o da una certa regione: dati personali, contratti, informazioni mediche o finanziarie. In questo caso guarda a fornitori con condizioni di trattamento adeguate o a modelli aperti eseguibili sui tuoi server. Prendi questa decisione presto: spesso restringe la lista più di qualsiasi benchmark.
Evita il lock-in
I modelli cambiano in fretta. Mantieni nel codice uno strato sottile tra prodotto e fornitore, conserva prompt e set di test separatamente, e potrai cambiare o combinare i modelli quando arriva un’opzione migliore.
In breve
Scegli un modello provandolo sui tuoi esempi, calcolando il costo reale per richiesta, verificando la velocità sotto carico e rispettando le regole sui dati. Progetta il sistema in modo che il modello sia sostituibile.