Jak RAG funguje v praxi?
RAG propojuje dvě činnosti: vyhledávání informací a generování odpovědí. Nejprve systém najde relevantní podklady a následně je předá jazykovému modelu, který z nich vytvoří srozumitelnou odpověď.
Rozdíl oproti běžnému chatbotu je zásadní. AI nemusí spoléhat jen na to, co se naučila během trénování. Může využít konkrétní informace, které jí systém poskytne v okamžiku, kdy uživatel položí otázku.
Důležité je, že kvůli každé změně v dokumentaci obvykle není potřeba znovu trénovat celý model. Stačí aktualizovat zdrojová data a zajistit, aby se jejich změny promítly do vyhledávacího systému.
Příprava dat: AI musí vědět, kde hledat
Aby RAG fungoval dobře, nestačí do něj jednoduše nahrát několik souborů. Data je potřeba připravit tak, aby v nich systém dokázal rychle najít správné informace.
Dokumenty, například PDF soubory, návody, interní wiki nebo produktové katalogy, se obvykle rozdělí na menší části. Těm se říká chunks. Díky tomu může systém vyhledat konkrétní pasáž, místo aby pracoval s celým dokumentem najednou.
Následně se mohou jednotlivé části převést pomocí takzvaných embeddingů na číselné reprezentace, které zachycují význam textu. Ty se ukládají do vektorové databáze nebo jiného vyhledávacího systému, kde je lze porovnávat podle podobnosti významu.
Výsledek? Když se někdo zeptá „Dokdy můžu vrátit objednávku?“, systém může najít pasáž o lhůtě pro vrácení zboží, i když je v dokumentaci označená například jako „Podmínky odstoupení od smlouvy“.
Od otázky k odpovědi
Když používateľ položí otázku, RAG nejprve vyhledá relevantní části dostupných zdrojů. Ty následně předá jazykovému modelu spolu s otázkou a pokynem, aby odpověď založil na poskytnutých informacích.
Model pak může například odpovědět, že zákazník má na vrácení zboží 30 dní, pokud právě takovou lhůtu uvádí firemní dokumentace.
Tento postup umožňuje vytvářet AI asistenty, kteří odpovídají na základě konkrétních firemních informací, aniž by bylo nutné pokaždé manuálně prohledávat dokumenty.
Samotný proces ale musí být správně nastavený. Pokud se dokumenty změní, je potřeba zajistit aktualizaci vyhledávacího indexu. Jinak může systém stále pracovat se zastaralými informacemi.
Proč RAG neznamená, že AI přestane dělat chyby
RAG dokáže snížit riziko nepřesných odpovědí, ale není zárukou jejich správnosti.
Problém může nastat už při vyhledávání. Systém například najde dokument, který obsahuje podobná slova, ale odpovídá na jinou otázku. Chybu může způsobit také neaktuální dokumentace, nevhodné rozdělení textu nebo příliš málo kontextu.
Pokud model dostane špatné podklady, může z nich vytvořit odpověď, která bude působit důvěryhodně, ale nebude správná.
Proto je důležité testovat nejen samotné odpovědi, ale také to, jaké informace systém při jednotlivých otázkách skutečně vyhledává. Užitečné může být například kombinování sémantického vyhledávání s klasickým vyhledáváním podle klíčových slov. To se hodí zejména u názvů produktů, čísel objednávek nebo přesných technických označení.
Stejně důležité je nastavit systém tak, aby dokázal přiznat, že v dostupných zdrojích nenašel dostatek informací. Pokud odpověď nemá o co opřít, je lepší to uživateli říct, než si ji domýšlet.
Kde má RAG největší smysl?
RAG je užitečný především tam, kde potřebujete pracovat s větším množstvím informací, které se mohou průběžně měnit.
Typickým příkladem je interní firemní asistent, který zaměstnancům pomáhá hledat informace v dokumentaci, procesech nebo interních pravidlech. Místo procházení desítek souborů se mohou jednoduše zeptat na konkrétní věc.
Další možností je chatbot zákaznické podpory, který odpovídá na základě aktuálních informací o produktech, reklamačních podmínkách nebo doručení objednávek.
RAG může pomoci také při vyhledávání v technické dokumentaci, kde uživatel potřebuje najít konkrétní postup nebo vysvětlení, i když nezná přesný název dokumentu.
V každém z těchto případů ale platí, že systém musí respektovat přístupová oprávnění. Pokud zaměstnanec nemá přístup k určitému dokumentu, AI by mu neměla jeho obsah zpřístupnit jen proto, že se na něj zeptal.
RAG navíc není univerzálním řešením pro každý problém s AI. Pokud potřebujete změnit způsob, jakým se model chová, nebo ho naučit specifický styl odpovídání, může být vhodnější jiný přístup, případně kombinace více metod.
U RAG záleží na víc než jen na výběru AI modelu
Při vývoji AI aplikace se často největší pozornost věnuje výběru jazykového modelu. U RAG ale kvalitu výsledku výrazně ovlivňuje také to, s jakými daty systém pracuje, jak jsou připravena, jak dobře vyhledává relevantní informace a jak rychle se aktualizují.
Důležitá je i bezpečnost. Firemní dokumentace může obsahovat citlivé informace, a proto musí být přístup k datům správně nastavený.
RAG tedy není jen způsob, jak připojit dokumenty k chatbotu. Je to systém, který propojuje data, vyhledávání a generování odpovědí. Pokud jsou jeho jednotlivé části dobře navržené, může firmám usnadnit práci s informacemi a nabídnout uživatelům přesnější a relevantnější odpovědi.