AI jest narzędziem, nie właścicielem decyzji
Generatywna AI potrafi szybko porządkować materiał, proponować warianty, streszczać dokumenty i wspierać pracę z kodem. Nie oznacza to jednak, że rozumie firmę, zna pełny kontekst albo bierze odpowiedzialność za skutek. Model przewiduje kolejne elementy odpowiedzi na podstawie wzorców. Może więc stworzyć treść płynną i przekonującą, która mimo to zawiera błędny fakt, nieistniejące źródło albo niewłaściwe założenie.
Dlatego użyteczne wdrożenie AI nie polega na usunięciu człowieka z procesu. Polega na dobrym podziale pracy: system pomaga generować, wyszukiwać, klasyfikować lub porównywać, a człowiek ustala cel, zapewnia dane, ocenia ryzyko i zatwierdza rezultat.
Skąd biorą się halucynacje?
OpenAI opisuje halucynacje jako wiarygodnie brzmiące, lecz fałszywe stwierdzenia. Jedną z przyczyn jest sposób uczenia i oceniania modeli: system bywa premiowany za udzielenie odpowiedzi zamiast za uczciwe wskazanie niepewności. Większa płynność języka nie jest więc dowodem prawdziwości.
To ważne w firmie, ponieważ błąd może przejść do oferty, instrukcji, kodu, decyzji zakupowej lub odpowiedzi dla klienta. Im wyższy koszt pomyłki, tym mocniejsza powinna być kontrola danych wejściowych, źródeł i wyniku.
Człowiek też może popełnić błąd
Nadzór człowieka nie jest magicznym zabezpieczeniem. Badanie Buçinca, Malaya i Gajosa pokazało problem nadmiernego polegania na rekomendacji AI: użytkownicy mogą przyjąć podpowiedź bez wystarczającego namysłu. Sam przycisk „zatwierdź” nie tworzy więc realnej kontroli. Osoba sprawdzająca potrzebuje kompetencji, czasu, dostępu do źródeł i prawa do odrzucenia wyniku.
Badanie „Navigating the Jagged Technological Frontier” pokazało z kolei nierówną granicę możliwości AI. W zadaniach mieszczących się w zakresie możliwości modelu uczestnicy pracowali szybciej i uzyskiwali lepsze wyniki. Przy zadaniu poza tą granicą korzystanie z AI zwiększało prawdopodobieństwo błędnej odpowiedzi. Praktyczny wniosek jest prosty: najpierw trzeba wiedzieć, dla których zadań model jest wystarczająco dobry, a gdzie potrzebna jest inna metoda lub ekspert.
Jak wygląda odpowiedzialne wdrożenie AI?
- Jasny cel: wiadomo, jaką decyzję albo czynność system ma wspierać.
- Kontrolowane dane: model otrzymuje tylko potrzebne informacje, zgodnie z zasadami prywatności i poufności.
- Źródła: odpowiedź może wskazać dokumenty, na których się opiera, a użytkownik potrafi je otworzyć.
- Poziom ryzyka: inny proces wystarczy dla szkicu wpisu, a inny dla informacji medycznej, prawnej, finansowej lub zmiany produkcyjnego kodu.
- Realna weryfikacja: osoba zatwierdzająca zna temat i ma możliwość poprawy albo odrzucenia wyniku.
- Pomiar: firma sprawdza jakość, błędy, wyjątki, czas pracy i efekt biznesowy zamiast mierzyć samą liczbę wygenerowanych odpowiedzi.
RAG i podpięcie dokumentów nie rozwiązują wszystkiego
Dostarczenie modelowi firmowej bazy wiedzy może ograniczyć część błędów i zwiększyć aktualność odpowiedzi. Nadal pozostają jednak problemy z doborem fragmentów, jakością dokumentów, uprawnieniami, sprzecznymi wersjami i interpretacją pytania. System powinien umieć wskazać brak podstawy do odpowiedzi, a użytkownik powinien widzieć źródło i datę materiału.
NIST: ryzyko trzeba zarządzać przez cały cykl życia
Profil NIST dla generatywnej AI opisuje ryzyka między innymi związane z konfabulacją, prywatnością, bezpieczeństwem informacji i nadmiernym poleganiem na systemie. Zaleca zarządzanie nimi od projektu i doboru danych, przez testy i wdrożenie, aż po monitorowanie działania. To lepszy punkt wyjścia niż jednorazowa prezentacja działającego prototypu.
Gdzie AI daje realną wartość?
Najlepszym kandydatem jest zadanie częste, czasochłonne i możliwe do sprawdzenia. Może to być przygotowanie pierwszego szkicu, wyszukanie informacji w zatwierdzonym zbiorze, klasyfikacja zgłoszeń, porównanie wariantów, pomoc programiście albo wykrywanie braków w dokumencie. Wysoka wartość pojawia się wtedy, gdy wynik trafia do istniejącego procesu i ma jasno określonego właściciela.
Jeżeli chcesz połączyć AI z aplikacją, danymi lub wewnętrznym procesem, najpierw warto opisać konkretną decyzję i dopuszczalny koszt błędu. Na stronie usług programistycznych PHP i Laravel możesz opisać taki przypadek bez przygotowywania specyfikacji technicznej.
Najkrótsza zasada
AI może przyspieszyć pracę, ale odpowiedzialność za cel, dane, weryfikację i decyzję nadal musi mieć wskazany człowiek.