Univerzální jazykový model ví hodně o světě, ale nic o vašich cenách, smlouvách nebo interních pravidlech. Generování s vyhledáváním, tedy RAG, tuto mezeru zaplní bez trénování nového modelu.
Jak to funguje
RAG přidává před odpověď krok vyhledávání. Vaše dokumenty - články znalostní báze, směrnice, popisy produktů, dřívější odpovědi zákazníkům - se rozdělí na malé úseky a zaindexují podle významu. Když přijde dotaz, systém najde nejrelevantnější úseky a předá je modelu spolu s dotazem. Model pak napíše odpověď na základě tohoto materiálu, ideálně s odkazy na použité zdroje.
Kdy je RAG správná volba
RAG se hodí, když se informace často mění a musí zůstat přesné: katalogy produktů, znalosti podpory, interní postupy, právní či technická dokumentace. Pro aktualizaci asistenta stačí aktualizovat dokumenty, bez přetrénování. Je také lépe kontrolovatelný: je vidět, které úseky byly použity, a odpověď lze ověřit.
Co se nejčastěji pokazí
Většina problémů pochází z dat, ne z modelu. Zastaralé nebo protichůdné dokumenty dávají protichůdné odpovědi. Obrovské nestrukturované soubory se špatně dělí a vyhledávání vrací nerelevantní kusy. Často se zapomíná na přístupová práva: asistent pro zákazníky nesmí vidět interní dokumenty. A bez sady testovacích otázek se známými správnými odpověďmi nikdo nepozná, zda změna systém zlepšila, nebo zhoršila.
Jak začít
Vyberte jednu jasnou oblast, například odpovědi na sto nejčastějších dotazů zákazníků. Dejte do pořádku dokumenty k této oblasti, určete, kdo co smí vidět, připravte dvacet až třicet testovacích otázek a změřte, jak často asistent odpoví správně a uvede správný zdroj. Teprve pak rozšiřujte na další témata.
Ve zkratce
RAG promění univerzální model v asistenta, který mluví na základě vašich dokumentů. Jeho kvalita závisí mnohem víc na čistých datech, promyšlených přístupových právech a pravidelném testování než na volbě modelu.