Нові мовні моделі виходять кожні кілька місяців, і кожну подають як найкращу. Для продуктової команди корисніше інше запитання: яка модель надійно розв’язує нашу задачу за ціною та зі швидкістю, що нам підходять, не порушуючи наших правил приватності?
Починайте із задачі, а не з рейтингу
Публічні рейтинги вимірюють загальні здібності. Вашому продукту потрібне щось вужче: класифікувати заявки, витягувати поля з документів, відповідати в певному тоні, писати код або міркувати над довгими текстами. Зберіть п’ятдесят-сто реальних прикладів вашої задачі з очікуваними відповідями й протестуйте на них кілька моделей. Різниця між моделями на ваших даних часто зовсім не така, як у публічних тестах.
Рахуйте вартість одного запиту
Ціна залежить від обсягу надісланого й отриманого тексту. Модель, яка трохи краща, але вп’ятеро дорожча, може бути виправдана лише для невеликої частки складних запитів. Поширений підхід - маршрутизація: швидка й недорога модель обробляє прості випадки, і лише складні надсилаються потужнішій моделі.
Перевірте швидкість і ліміти
Для чату чи інтерфейсу, де користувач чекає, час відповіді важить не менше за якість. Для фонової обробки важливіші пропускна здатність і обмеження на кількість запитів. Перевірте і те, і інше під реалістичним навантаженням, перш ніж ухвалювати рішення.
Вирішіть, куди можна передавати дані
Деякі дані не можна виносити за межі вашої інфраструктури чи певного регіону: персональні дані, договори, медична чи фінансова інформація. У такому разі дивіться на провайдерів із відповідними умовами обробки даних або на відкриті моделі, які можна запустити на власних серверах. Ухваліть це рішення рано - воно часто звужує список сильніше за будь-який тест.
Не прив’язуйтеся до одного провайдера
Моделі змінюються швидко. Тримайте в коді тонкий шар між продуктом і провайдером, зберігайте промпти й тестові набори окремо - і зможете змінити чи поєднати моделі, коли з’явиться кращий варіант.
Коротко
Обирайте модель, тестуючи її на власних прикладах, рахуючи реальну вартість запиту, перевіряючи швидкість під навантаженням і дотримуючись правил роботи з даними. Проєктуйте систему так, щоб модель можна було замінити.