Uniwersalny model językowy wie dużo o świecie, ale nic o Twoich cenach, umowach czy wewnętrznych zasadach. Generowanie wspomagane wyszukiwaniem, czyli RAG, wypełnia tę lukę bez trenowania nowego modelu.
Jak to działa
RAG dodaje krok wyszukiwania przed odpowiedzią. Twoje dokumenty - artykuły bazy wiedzy, regulaminy, opisy produktów, wcześniejsze odpowiedzi dla klientów - są dzielone na małe fragmenty i indeksowane według znaczenia. Gdy pojawia się pytanie, system znajduje najbardziej pasujące fragmenty i przekazuje je modelowi razem z pytaniem. Model pisze odpowiedź na podstawie tego materiału, najlepiej z odnośnikami do wykorzystanych źródeł.
Kiedy RAG to dobry wybór
RAG sprawdza się, gdy informacje często się zmieniają i muszą pozostać dokładne: katalogi produktów, wiedza działu wsparcia, procedury wewnętrzne, dokumentacja prawna lub techniczna. Aby zaktualizować asystenta, wystarczy zaktualizować dokumenty - bez ponownego trenowania. Łatwiej go też kontrolować: widać, których fragmentów użyto, i można sprawdzić odpowiedź.
Co najczęściej zawodzi
Większość problemów wynika z danych, a nie z modelu. Nieaktualne lub sprzeczne dokumenty dają sprzeczne odpowiedzi. Ogromne, nieuporządkowane pliki są źle dzielone, a wyszukiwanie zwraca nietrafione fragmenty. Często zapomina się o uprawnieniach: asystent dla klientów nie może widzieć dokumentów wewnętrznych. Wreszcie, bez zestawu pytań testowych ze znanymi poprawnymi odpowiedziami nikt nie wie, czy zmiana poprawiła, czy pogorszyła system.
Od czego zacząć
Wybierz jeden jasny obszar, na przykład odpowiedzi na sto najczęstszych pytań klientów. Uporządkuj dokumenty z tego obszaru, ustal, kto co może widzieć, przygotuj dwadzieścia-trzydzieści pytań testowych i zmierz, jak często asystent odpowiada poprawnie i wskazuje właściwe źródło. Dopiero potem rozszerzaj na kolejne tematy.
W skrócie
RAG zamienia uniwersalny model w asystenta, który mówi na podstawie Twoich dokumentów. Jego jakość zależy dużo bardziej od czystych danych, przemyślanych uprawnień i regularnych testów niż od wyboru modelu.