Halucynacje AI: dlaczego AI zmyśla i jak firma się przed tym chroni

Handlowiec pyta asystenta AI o warunki gwarancji na produkt. Dostaje gładką, pewną odpowiedź: 36 miesięcy, wymiana w 14 dni. Tyle że w regulaminie firmy jest 24 miesiące i naprawa, nie wymiana. Klient dostał ofertę z obietnicą, której firma nie może dotrzymać.

To jest halucynacja: odpowiedź, która brzmi wiarygodnie, a jest nieprawdziwa. Da się ją ograniczyć niemal do zera, ale nie przez wybór „lepszego modelu”, tylko przez sposób, w jaki AI jest wdrożone.

Dlaczego AI zmyśla

Model językowy, o czym piszemy w tekście jak działa AI, zawsze stara się odpowiedzieć tekstem, który pasuje do pytania. Gdy nie ma właściwych danych, nie mówi domyślnie „nie wiem”, tylko składa odpowiedź z tego, co najczęściej występowało w podobnych tekstach. W przypadku gwarancji: 36 miesięcy i wymiana to częsty zapis w regulaminach innych firm.

Halucynacje zdarzają się najczęściej, gdy:

• pytanie dotyczy konkretu firmy (cena, stan, warunki, termin), a model nie ma do niego dostępu,
• pytanie jest bardzo szczegółowe (numer przepisu, konkretna data),
• model dostał w rozmowie sprzeczne albo niepełne informacje.

Sześć sposobów ochrony

1. Odpowiedzi tylko ze źródeł

Asystent dostaje dokumenty firmy (regulaminy, procedury, katalogi) i ma odpowiadać wyłącznie na ich podstawie. Zanim odpowie, przeszukuje bazę dokumentów i wkleja do rozmowy właściwe fragmenty. To podejście nazywa się bazą wiedzy (z ang. RAG). Model nie zgaduje, tylko streszcza to, co znalazł.

2. Dane liczbowe prosto z systemu

Stany, ceny, należności czy terminy dostaw asystent pobiera z ERP w chwili pytania, np. przez serwer MCP. Liczba w odpowiedzi pochodzi z Subiekta albo Optimy, a nie z pamięci modelu.

3. Każda odpowiedź ze wskazaniem źródła

Asystent podaje, skąd wziął informację: nazwa dokumentu i fragment albo rekord w ERP. Pracownik w kilka sekund sprawdzi, czy odpowiedź się zgadza. Odpowiedź bez źródła traktujemy jako podejrzaną.

4. Zgoda na „nie wiem”

W instrukcji asystenta wprost zapisujemy: jeśli w źródłach nie ma odpowiedzi, powiedz, że nie wiesz, i wskaż, kogo zapytać. Zaskakująco duża część halucynacji znika po tej jednej zmianie.

5. Test na prawdziwych pytaniach

Przed udostępnieniem asystenta zespołowi zbieramy 50-100 prawdziwych pytań z firmy i porównujemy odpowiedzi z faktycznym stanem. Liczymy, ile jest poprawnych, ile z „nie wiem” i ile błędnych. Dopiero gdy błędnych praktycznie nie ma, asystent trafia do ludzi. Ten sam test powtarzamy po każdej większej zmianie.

6. Człowiek zatwierdza to, co wychodzi na zewnątrz

Oferta dla klienta, faktura, zmiana w ERP czy odpowiedź do urzędu przechodzą przez człowieka. AI przygotowuje, człowiek zatwierdza jednym kliknięciem. W rozmowach wewnętrznych (pytanie o stan, streszczenie maila) zatwierdzanie nie jest potrzebne, bo pracownik i tak sprawdza źródło.

Czego nie robić

• Nie wklejać do darmowego ChatGPT regulaminu i liczyć, że zapamięta. Model nie pamięta między rozmowami, a dane trafiają do narzędzia bez umowy z firmą.
• Nie wybierać modelu tylko po testach z internetu. Ważniejsze jest, czy model ma dostęp do Twoich danych i czy umie powiedzieć „nie wiem”.
• Nie automatyzować od razu działań wychodzących do klientów. Najpierw asystent dla pracowników, potem, po tygodniach bez błędów, automatyzacja.

Podsumowanie

Halucynacje nie są powodem, żeby rezygnować z AI w firmie. Są powodem, żeby wdrażać je w kolejności: najpierw źródła i dane, potem testy, na końcu automatyzacja. Jak wygląda ta kolejność w praktyce, opisujemy w tekście AI w firmie krok po kroku.