Modele de limbaj noi apar la fiecare câteva luni și fiecare este prezentat ca fiind cel mai bun. Pentru o echipă de produs, întrebarea utilă este alta: ce model rezolvă sarcina noastră în mod fiabil, la un preț și o viteză pe care ni le permitem, fără să încalce regulile noastre de confidențialitate?
Pornește de la sarcină, nu de la clasament
Clasamentele publice măsoară abilități generale. Produsul tău are nevoie de ceva mai îngust: clasificarea cererilor, extragerea câmpurilor din documente, răspunsuri pe un anumit ton, scrierea de cod sau raționament pe texte lungi. Adună cincizeci-o sută de exemple reale cu răspunsurile așteptate și testează mai multe modele pe ele. Diferența dintre modele pe datele tale diferă adesea mult de cea din testele publice.
Calculează costul pe cerere
Prețul depinde de volumul de text trimis și primit. Un model puțin mai bun, dar de cinci ori mai scump, se poate justifica doar pentru o mică parte de cereri complexe. Un tipar frecvent este rutarea: un model rapid și ieftin tratează cazurile simple, iar doar cele dificile ajung la un model mai puternic.
Verifică viteza și limitele
Într-un chat sau o interfață în care utilizatorul așteaptă, timpul de răspuns contează cât calitatea. În procesarea în fundal contează mai mult debitul și limitele de cereri. Testează ambele sub o încărcare realistă înainte să te angajezi.
Decide unde pot ajunge datele
Unele date nu pot părăsi infrastructura ta sau o anumită regiune: date personale, contracte, informații medicale sau financiare. În acest caz, uită-te la furnizori cu condiții de prelucrare potrivite sau la modele deschise care pot rula pe propriile servere. Ia această decizie devreme - adesea restrânge lista mai mult decât orice test.
Evită dependența
Modelele se schimbă repede. Păstrează în cod un strat subțire între produs și furnizor, stochează separat prompturile și seturile de test și vei putea schimba sau combina modele când apare o opțiune mai bună.
Pe scurt
Alege un model testându-l pe propriile exemple, calculând costul real pe cerere, verificând viteza sub încărcare și respectând regulile privind datele. Proiectează sistemul astfel încât modelul să poată fi înlocuit.