Osegi
AI·2 min czytania

Raporty badawcze AI: co się dzieje, gdy AI sprawdza AI

Szef marketingu produktowego zbudował system agentów do testowania pomysłów i odkrył, że błędy AI są coraz subtelniejsze. Sześć typowych pokazuje, jak to wygląda.

A person at a desk reviewing a long AI-generated research report on a monitor, with some lines highlighted for checking.
Zdjęcie: Хабр

Raport może wyglądać świetnie i nie mieć nic wspólnego z prawdą. Może też być prawdziwy, a mimo to bezużyteczny. Autor tekstu, lider zespołu marketingu produktowego, próbuje zbudować system raportów badawczych z AI, któremu da się ufać.

Punkt wyjścia jest głośny: Deloitte oddało rządowi Australii raport z nieistniejącymi źródłami, zgodziło się zwrócić ostatnią płatność, a resort stwierdził, że rekomendacje się nie zmieniły. Podobne wpadki z AI dotyczyły też Deloitte w Kanadzie, EY i KPMG: wymyślone źródła, błędne odnośniki, materiały, które nie potwierdzają tego, co napisano.

Sam autor buduje „Poligon hipotez”. Przynosisz pomysł i kontekst, a system agentów rozkłada go na sprawdzalne twierdzenia, szuka podstaw i sprzeczności, podpowiada, co odrzucić, a co dopracować. W razie potrzeby zbiera dodatkowe materiały i przeprowadza eksperymenty syntetyczne. Problem w tym, że AI potrafi dziś błądzić subtelniej: źródło jest prawdziwe, cytat dosłowny, a wniosek z niego zupełnie chybiony.

Sześć błędów, które łatwo zauważyć, gdy widać źródło

Autor zebrał błędy, na które sam trafił:

  • „Większość klientów jest niezadowolona z integracji”. Niezadowolonych jest dwoje z dziesięciu, reszta jej nie próbowała.
  • „Popyt na aplikację mobilną potwierdzony, wspomniały o niej cztery osoby”. Cztery powiedziały „fajnie by było”, sześć nie wspomniało. W briefie zespołu stało już: „potrzebujemy aplikacji”.
  • „Rynek rośnie o 25% rocznie, potwierdzają to trzy agencje”. Wszystkie trzy powtarzają jeden komunikat producenta.
  • Szczegółowy rozbiór tego, dlaczego klienci nie kupują, choć pytanie dotyczyło nieodnawiania subskrypcji.
  • „Konkurentów nie ma”, bo zrobiono dwa zapytania po angielsku, a lokalna firma sprzedaje tę funkcję.
  • „Duży bank zmniejszył odpływ o 15%”, choć w materiałach nie ma na to potwierdzenia.

Jak system wyłapuje takie błędy?

Do uogólnień autor wymaga listy: kto dokładnie tak powiedział i gdzie. Skrypt przelicza uczestników, a osobny agent sprawdza, czy odpowiedzi faktycznie pozwalają zaliczyć ich do jednej grupy. Twierdzenia z briefu trafiły do weryfikacji, a każdy główny wniosek musi mieć najmocniejszy argument przeciw. Powstał też rejestr źródeł, według którego liczy się potwierdzenia, oraz wyszukiwanie obalające: spróbuj znaleźć firmę, która już to robi. Agenci zapisują, gdzie szukali i czego nie sprawdzili.

Dla twierdzeń faktograficznych agent musi przygotować źródło. Skrypt szuka cytatu w podanym tekście, przelicza wzory, a osobny agent ocenia, czy fragment naprawdę potwierdza wniosek. Autor zauważa jednak, że po zaostrzeniu reguł system stał się ostrożniejszy i mniej użyteczny. Rygor i pożytek mogą ciągnąć w przeciwne strony.

Aplikacje warte uwagi

SUMO: łamigłówka liczbowa

Wybierz właściwe pola, dodaj je i trafiaj w cel. Łatwa do nauczenia, trudna do opanowania. Za darmo, dla każdego wieku.

Tagi:ai researchai hallucinationsdeloitteai agentsproduct marketingfact checking

Więcej z tego dnia

Zobacz wszystkie →

Więcej w kategorii: AI

Zobacz wszystkie →