Nowe modele językowe pojawiają się co kilka miesięcy, a każdy jest przedstawiany jako najlepszy. Dla zespołu produktowego przydatne jest inne pytanie: który model niezawodnie rozwiązuje nasze zadanie, w cenie i z szybkością, na które nas stać, nie łamiąc naszych zasad prywatności?
Zacznij od zadania, nie od rankingu
Publiczne rankingi mierzą ogólne umiejętności. Twój produkt potrzebuje czegoś węższego: klasyfikowania zgłoszeń, wyciągania pól z dokumentów, odpowiadania w określonym tonie, pisania kodu lub wnioskowania na podstawie długich tekstów. Zbierz pięćdziesiąt-sto prawdziwych przykładów z oczekiwanymi odpowiedziami i przetestuj na nich kilka modeli. Różnice na Twoich danych często wyglądają zupełnie inaczej niż w publicznych testach.
Policz koszt jednego zapytania
Cena zależy od ilości wysłanego i odebranego tekstu. Model nieco lepszy, ale pięć razy droższy, może się opłacać tylko dla niewielkiej części złożonych zapytań. Popularny wzorzec to routing: szybki i tani model obsługuje proste przypadki, a tylko trudne trafiają do mocniejszego modelu.
Sprawdź szybkość i limity
W czacie lub interfejsie, w którym użytkownik czeka, czas odpowiedzi jest równie ważny jak jakość. Przy przetwarzaniu w tle ważniejsza jest przepustowość i limity zapytań. Przetestuj jedno i drugie przy realistycznym obciążeniu, zanim się zdecydujesz.
Zdecyduj, gdzie mogą trafiać dane
Niektóre dane nie mogą opuszczać Twojej infrastruktury ani określonego regionu: dane osobowe, umowy, informacje medyczne lub finansowe. Wtedy rozważ dostawców z odpowiednimi warunkami przetwarzania danych lub otwarte modele uruchamiane na własnych serwerach. Podejmij tę decyzję wcześnie - często zawęża listę bardziej niż jakikolwiek test.
Unikaj uzależnienia
Modele szybko się zmieniają. Trzymaj w kodzie cienką warstwę między produktem a dostawcą, przechowuj prompty i zestawy testowe osobno, a będziesz mógł zmienić lub połączyć modele, gdy pojawi się lepsza opcja.
W skrócie
Wybieraj model, testując go na własnych przykładach, licząc realny koszt zapytania, sprawdzając szybkość pod obciążeniem i przestrzegając zasad dotyczących danych. Projektuj system tak, by model dało się wymienić.