Stretol sa ešte niekto s AI halucináciami, ktoré šíria nepravdivé informácie o ich značke? Práve som zistil, že ChatGPT si vymýšľa vlastnosti produktov

Nepreháňate. Toto je reálny a zdokumentovaný problém.

Technická realita:

AI halucinácie vznikajú, pretože LLM modely sú v podstate predikčné stroje, nie pravdivostné stroje. Predpovedajú najpravdepodobnejší ďalší token na základe vzorov v tréningových dátach. Keď narazia na medzery alebo protichodné informácie, dopĺňajú ich dôveryhodne znejúcim obsahom.

Čísla sú znepokojujúce:

• Miera halucinácií ChatGPT: ~12% odpovedí
• Claude: ~15%
• Perplexity: ~3,3% (nižšie vďaka RAG)
• Celosvetové firemné straty z AI halucinácií v 2024: 67,4 miliardy dolárov

Pri menej známych značkách môže byť miera halucinácií ešte vyššia, lebo je menej tréningových dát, o ktoré sa model opiera.

Čo môžete urobiť:

1. Zlepšite digitálnu stopu – Presnejší a štruktúrovaný obsah na autoritatívnych zdrojoch dá AI systémom lepšie dáta

2. Zamerajte sa na platformy s vysokou autoritou – Wikipedia, odborné publikácie a renomované recenzné stránky majú v tréningových dátach väčšiu váhu

3. Priebežne monitorujte – Halucinácie sa menia s aktualizáciami modelov. Čo je zle dnes, môže byť správne o mesiac (alebo naopak)

Situácia nie je beznádejná, ale vyžaduje si vytrvalé úsilie.

Sme v zdravotníckej technológii, takže AI halucinácie nie sú len otázkou reputácie – môžu byť problémom aj z pohľadu súladu a bezpečnosti.

Náš nočná mora sa splnila minulý rok:

ChatGPT povedal potenciálnemu klientovi, že náš systém na správu pacientov „nespĺňa požiadavky HIPAA“. Pritom sme v súlade s HIPAA od začiatku. Museli sme zapojiť právny tím a poskytnúť certifikáty.

Čo nám skutočne pomohlo znížiť halucinácie:

1. Štruktúrované FAQ stránky – Vytvorili sme komplexné FAQ so schema markup, odpovedajúce na všetky možné otázky o našom súlade, funkciách a možnostiach

2. Nezávislé overenie – Naše certifikáty sme dali spomenúť na G2, Capterra a v odbornej tlači. AI systémy dávajú tretím stranám veľkú váhu

3. Konzistentné informácie všade – Na webe, v tlačových správach, na LinkedIne aj všade inde máme identické, presné informácie

4. Monitorovanie cez Am I Cited – Sledujeme AI zmienky týždenne. Keď vidíme halucinácie, vieme spätne dohľadať zdroj a opraviť ho

Po 6 mesiacoch tejto práce halucinácia o HIPAA zmizla. Občas sa objaví chyba v iných oblastiach, ale kritické compliance informácie sú už v ChatGPT a Perplexity správne.

Pohľad z malej firmy – pre startupy je to vlastne desivé.

O našej značke je na webe málo obsahu. Každé tréningové dáta sa počítajú. Zistili sme, že ChatGPT si v podstate vymýšľa našu funkcionalitu podľa toho, čo majú konkurenti.

Je to, akoby AI hrala „mad libs“ s naším produktom – „Táto firma má asi [funkciu, ktorú majú konkurenti]“ a prezentuje to ako fakt.

Najhoršia halucinácia, ktorú sme našli: ChatGPT tvrdil, že nás v roku 2024 „kúpil [hlavný konkurent]“. Sme stále nezávislí. Netuším, kde to vzal.

Teraz mám paranoju, že nás potenciálni klienti vyradzujú len na základe úplne vymyslených informácií ešte pred návštevou nášho webu.

Pohľad z oblasti SEO – s presnosťou featured snippetov bojujeme už roky. AI halucinácie sú tento problém znásobený 10x.

Kľúčové zistenie:

AI systémy čerpajú z rovnakého obsahu ako Google, ale SYNTEZUJÚ namiesto priameho citovania. To znamená, že drobné chyby vo vašom obsahu sa môžu v AI odpovediach rozrásť do veľkých nepresností.

Praktické kroky, ktoré pomáhajú:

1. Najprv si skontrolujte vlastný obsah – Niekedy AI halucinácie pramenia zo starých blogov, tlačových správ alebo nesúladov na vašom webe

2. Sledujte, čo sa zobrazuje pri vyhľadávaní vašej značky – Ak vysoko rankujú nepresné tretie strany pre „[vaša značka] funkcie“ alebo „[vaša značka] cena“, to pravdepodobne kŕmi tréningové dáta AI

3. Vytvárajte obsah vhodný na citovanie – Perplexity používa RAG a cituje zdroje. Ak máte dobre štruktúrovaný obsah, bude citovaný priamo namiesto vymýšľania

4. Sledujte konkrétne halucinácie – Zaznamenávajte, čo je zle, testujte na viacerých AI platformách a sledujte zmeny v čase

Prístup so štruktúrovanými dátami je zásadný. AI systémy ich spracovávajú lepšie ako husté odstavce.

Vo veľkej firme sme začali monitorovanie AI halucinácií zaradiť medzi štandardné metriky zdravia značky.

Náš postup:

Robíme štvrťročné „AI audity značky“, kde testujeme 50+ promptov v ChatGPT, Claude, Perplexity a Google AI Overviews. Každú odpoveď hodnotíme podľa presnosti oproti našej oficiálnej dokumentácii.

Aktuálne čísla z posledného auditu:

• Presnosť ChatGPT pre našu značku: 73%
• Claude: 71%
• Perplexity: 89%
• Google AI Overviews: 82%

Perplexity je citeľne lepší, lebo používa živé vyhľadávanie a cituje zdroje. Ostatní pracujú s tréningovými dátami, ktoré sú mesiace až roky staré.

Čo nás prekvapilo:

Niektoré „halucinácie“ vychádzali zo STARÝCH, ale kedysi správnych informácií. Naše ceny sa zmenili pred 18 mesiacmi a ChatGPT má stále tie pôvodné. To nie je halucinácia, ale zastarané tréningové dáta. Efekt na klienta je však rovnaký.

Som novinárka a píšem o AI. Rok sledujem presnosť AI systémov.

Čo si väčšina ľudí neuvedomuje:

AI halucinácie nie sú náhodné. Kopírujú vzory podľa toho, čo je v tréningových dátach. Ak sú o vašej firme online rozporné informácie, AI niekedy „spriemeruje“ zdroje a vytvorí hybridné fakty, ktoré sú čiastočne pravdivé a čiastočne vymyslené.

Príklad, ktorý som zdokumentovala:

Firma A kúpila produktovú líniu firmy B v roku 2023. AI teraz občas pripisuje funkcie firmy B firme A a naopak. Modely si mýlia dva produkty, lebo boli v akvizičných správach spomenuté spolu.

Pre autorku pôvodného príspevku:

Halucinácia o cene (99 $ vs 29 $) môže pochádzať zo starej cenníkovej stránky, konkurenta s podobnou cenou, alebo aj z tretej strany, ktorá mala zlé údaje. Oplatí sa pátrať po zdroji.

Spravujeme AI viditeľnosť pre 30+ klientov. AI halucinácie sú teraz problém číslo 1, ktorý riešia naši klienti.

Náš framework:

1. Základný audit – Otestujte 20-30 promptov na všetkých hlavných AI platformách, zaznamenajte každú nepresnosť

2. Analýza zdrojov – Pri každej halucinácii skúste vystopovať, odkiaľ nepravdivá informácia mohla prísť (starý obsah, zámena s konkurenciou, chyba tretej strany)

3. Náprava obsahu – Vytvorte alebo aktualizujte autoritatívny obsah, ktorý jasne a štruktúrovane vyvracia halucináciu

4. Amplifikácia cez tretie strany – Dostaňte správne informácie na stránky s vysokou autoritou, ktoré majú pre AI váhu

5. Monitorovanie – Používajte Am I Cited na sledovanie AI zmienok týždenne. Halucinácie sa často samé opravia s aktualizáciou modelov, ale môžu sa objaviť nové

Časová realita:

Oprava AI halucinácií nie je rýchla. Očakávajte 3-6 mesiacov, kým uvidíte výrazné zlepšenie. Tréningové dáta sa neaktualizujú okamžite a aj RAG systémy potrebujú čas, aby objavili a uprednostnili váš opravený obsah.

Pridávam právny pohľad, keďže to tu odznelo:

Súčasná právna situácia:

Neexistuje ustálený právny rámec, podľa ktorého by bolo možné niesť zodpovednosť AI firiem za halucinácie. Skúmali sme to dôkladne. Hoci existujú zákony o ohováraní a klamlivej reklame, aplikovať ich na AI-generovaný obsah je právne nejasné.

Napriek tomu:

Niektoré firmy skúmajú možnosti žalôb pre tzv. tortious interference (keď AI halucinácie preukázateľne spôsobia stratu obchodov) a porušenia spotrebiteľských zákonov. Sú to však neoverené teórie.

Praktická rada:

Všetko dokumentujte. Ak vám záujemca výslovne napíše, že vás odmietol kvôli AI dezinformácii, uložte si to. Ak by to bolo raz právne riešiteľné, budete mať dôkaz o skutočnej škode.

Zatiaľ je najúčinnejším riešením proaktívna obsahová stratégia, nie právne kroky.

Táto diskusia bola pre mňa nesmierne užitočná. Ďakujem všetkým.

Moje poznatky a ďalšie kroky:

1. Je to skutočný a zdokumentovaný problém – Nepreháňam. Čísla (12% halucinácií, 67 miliárd dolárov škôd) potvrdzujú moje obavy

2. Najprv pátranie po zdroji – Preverím vlastný obsah a pozriem, čo sa zobrazuje v treťostranných výsledkoch na našu značku

3. Dôležitosť štruktúrovaného obsahu – Budem s tímom pracovať na FAQ stránkach so schema markup

4. Nezávislé overenie – Potrebujeme dostať správne údaje na G2, Capterra a do odbornej tlače

5. Monitorovanie je kľúčové – Nastavujem Am I Cited na sledovanie AI zmienok. Čo nemeriame, to neopravíme

6. Vyžaduje si to trpezlivosť – 3-6 mesiacov na zlepšenie je dobré vedieť

Okamžitý krok:

Opätovne oslovím toho klienta s našimi skutočnými certifikátmi a zoznamom funkcií. Možno ho nezískame späť, ale aspoň bude poznať pravdu.

Komentár o „manažmente reputácie na nočnej more“ bol emotívny, ale v skutočnosti to nie je neriešiteľné. Vyžaduje si to len iný prístup než tradičný manažment značky.