Новые языковые модели выходят каждые несколько месяцев, и каждую представляют как лучшую. Для продуктовой команды полезен другой вопрос: какая модель надёжно решает нашу задачу по цене и со скоростью, которые нам подходят, не нарушая наших правил приватности?
Начинайте с задачи, а не с рейтинга
Публичные рейтинги измеряют общие способности. Вашему продукту нужно что-то более узкое: классифицировать заявки, извлекать поля из документов, отвечать в определённом тоне, писать код или рассуждать над длинными текстами. Соберите пятьдесят-сто реальных примеров вашей задачи с ожидаемыми ответами и протестируйте на них несколько моделей. Разница между моделями на ваших данных часто сильно отличается от разницы в публичных тестах.
Считайте стоимость одного запроса
Цена зависит от объёма отправленного и полученного текста. Модель, которая чуть лучше, но в пять раз дороже, может быть оправдана лишь для небольшой доли сложных запросов. Распространённый подход - маршрутизация: быстрая и недорогая модель обрабатывает простые случаи, и только сложные отправляются более мощной модели.
Проверьте скорость и лимиты
Для чата или интерфейса, где пользователь ждёт, время ответа важно не меньше качества. Для фоновой обработки важнее пропускная способность и ограничения на число запросов. Проверьте и то и другое под реалистичной нагрузкой, прежде чем принимать решение.
Решите, куда можно передавать данные
Некоторые данные нельзя выносить за пределы вашей инфраструктуры или определённого региона: персональные данные, договоры, медицинская или финансовая информация. В этом случае смотрите на провайдеров с подходящими условиями обработки данных или на открытые модели, которые можно запустить на своих серверах. Примите это решение рано - оно часто сужает список сильнее любого теста.
Не привязывайтесь к одному провайдеру
Модели меняются быстро. Держите в коде тонкий слой между продуктом и провайдером, храните промпты и тестовые наборы отдельно - и вы сможете сменить или совместить модели, когда появится вариант лучше.
Коротко
Выбирайте модель, тестируя её на своих примерах, считая реальную стоимость запроса, проверяя скорость под нагрузкой и соблюдая правила работы с данными. Проектируйте систему так, чтобы модель можно было заменить.