Cada pocos meses aparecen nuevos modelos de lenguaje y cada uno se presenta como el mejor. Para un equipo de producto la pregunta útil es otra: ¿qué modelo resuelve nuestra tarea de forma fiable, con un precio y una velocidad asumibles, sin romper nuestras reglas de privacidad?
Empieza por la tarea, no por el ranking
Los rankings públicos miden capacidades generales. Tu producto necesita algo más concreto: clasificar solicitudes, extraer campos de documentos, responder con un tono determinado, escribir código o razonar sobre textos largos. Reúne entre cincuenta y cien ejemplos reales con las respuestas esperadas y prueba varios modelos con ellos. La diferencia entre modelos con tus propios datos suele ser muy distinta de la de las pruebas públicas.
Calcula el coste por solicitud
El precio depende del volumen de texto enviado y recibido. Un modelo algo mejor pero cinco veces más caro quizá solo se justifique para una pequeña parte de solicitudes complejas. Un patrón habitual es el enrutamiento: un modelo rápido y económico gestiona los casos simples y solo los difíciles se envían a un modelo más potente.
Comprueba la velocidad y los límites
En un chat o una interfaz donde el usuario espera, el tiempo de respuesta importa tanto como la calidad. En el procesamiento en segundo plano importan más el rendimiento y los límites de solicitudes. Prueba ambos con una carga realista antes de comprometerte.
Decide adónde pueden ir los datos
Algunos datos no pueden salir de tu infraestructura o de una región concreta: datos personales, contratos, información médica o financiera. En ese caso, fíjate en proveedores con condiciones de tratamiento adecuadas o en modelos abiertos que puedan ejecutarse en tus propios servidores. Toma esta decisión pronto: a menudo reduce la lista más que cualquier prueba.
Evita la dependencia
Los modelos cambian rápido. Mantén en el código una capa fina entre el producto y el proveedor, guarda los prompts y los conjuntos de prueba por separado, y podrás cambiar o combinar modelos cuando aparezca una opción mejor.
En resumen
Elige un modelo probándolo con tus propios ejemplos, calculando el coste real por solicitud, comprobando la velocidad bajo carga y respetando tus reglas sobre datos. Diseña el sistema para que el modelo se pueda sustituir.