Podle zpráv se u některých sloves AI chovala jako chatbot, nikoli jako vyhledávač. Místo definic vracela konverzační odpovědi nebo řídké panely, které nad standardními výsledky vyhledávání zanechávaly velkou prázdnou plochu.
Toto chování bylo pozorováno u několika slov, včetně:
Běžné slovníkové výsledky (např. odkazy na Merriam‑Webster) často stále existovaly níže na stránce, ale vadný AI Overview je posunul pod „zlom“ stránky nebo je vizuálně zakryl.
Google přiznal, že AI Overviews „špatně interpretují některé dotazy související s akcemi“. Společnost dosud nezveřejnila úplné technické vysvětlení, ale pozorované chování silně připomíná problém s klasifikací příkazů.
Velké jazykové modely jsou trénovány k interpretaci instrukcí. Slova jako ignore, dismiss nebo disregard se v promptech běžně vyskytují jako příkazy – například „ignoruj předchozí instrukce.“
Když se vyhledávací dotaz skládá z jediného slovesa, které vypadá jako instrukce, může ho systém chybně klasifikovat jako direktivu, nikoli jako požadavek na vyhledání informace. AI se pak pokusí instrukci „provést“ místo toho, aby vrátila informace o samotném slovu.
Tento druh zmatení připomíná třídu bezpečnostních problémů AI známou jako prompt injection, kdy model následuje instrukce vložené do vstupních dat, místo aby provedl zamýšlený úkol. V případech prompt injection mohou skryté nebo nejednoznačné instrukce způsobit, že systém neočekávaně změní své chování nebo výstup.
V tomto případě není vstup škodlivý – je prostě nejednoznačný. Ale způsob selhání je podobný: model následuje to, co považuje za příkaz, místo aby odpověděl na vyhledávací dotaz.
Podivné odpovědi vznikají, protože AI Overviews přebírá kontrolu nad horní částí stránky s výsledky, když se domnívá, že může vygenerovat užitečné shrnutí.
Když systém chybně interpretuje dotaz jako instrukci, vytvoří konverzační odpověď namísto informačního obsahu. To zanechá velký AI panel s minimem textu, zatímco běžná slovníková karta je posunuta dále dolů na stránce.
Pro uživatele to vypadá, jako by Google najednou „zapomněl“, jak definovat běžná slova – přestože správné výsledky stále existují pod blokem AI.
Není to poprvé, co AI generovaná shrnutí vyhledávání od Googlu vyprodukovala neobvyklé výstupy.
Krátce po širším spuštění této funkce v roce 2024 se objevilo několik virálních příkladů, kdy AI Overviews dávaly bizarní rady – včetně doporučení přidat netoxické lepidlo do omáčky na pizzu, aby sýr lépe držel, a tvrzení, že lidé by měli jíst jeden malý kámen denně kvůli minerálům.
Google později přiznal, že některé odpovědi AI Overviews byly „podivné, nepřesné nebo neužitečné“, a přičítal to špatně interpretovaným dotazům, satiře ve zdrojových datech nebo mezerám v informacích, kde bylo málo spolehlivých zdrojů.
Chyba „disregard“ spadá do stejné obecné kategorie: systém navržený k příliš flexibilní interpretaci jazyka nakonec nepochopí záměr uživatele.
Dokud Google problém nevyřeší, několik jednoduchých triků může pomoci obnovit normální chování vyhledávání.
1. Přepněte na záložku Web
Výběr filtru Web odstraní mnoho prvků generovaných AI a zobrazí místo toho tradiční výsledky s odkazy.
2. Přidejte k dotazu „-ai“
Někteří uživatelé potlačují AI shrnutí přidáním negativního vyhledávacího operátoru, například -ai, k dotazu. To může zabránit zobrazení panelu AI Overview.
3. Posouvejte se pod AI box
V mnoha případech se slovníkové výsledky stále zobrazují pod sekcí AI, i když je horní panel rozbitý.
4. Používejte explicitnější formulace
Vyhledávání frází jako „define disregard“ nebo „disregard meaning“ může snížit pravděpodobnost, že bude dotaz interpretován jako příkaz.
Tento glitch poukazuje na hlubší konstrukční výzvu v vyhledávání řízeném AI: jazykové modely jsou stavěny na interpretaci instrukcí, zatímco vyhledávače tradičně berou dotazy jako žádosti o informace.
Když se tyto dva režimy překrývají, může nejednoznačnost způsobit, že systém špatně přečte záměr. Jediné sloveso může být žádostí o slovníkovou definici – nebo instrukcí. Spolehlivě rozlišovat mezi těmito dvěma je stále otevřeným problémem v designu rozhraní AI.
Google tvrdí, že na opravě pracuje, ale tato událost ukazuje, jak křehké může být vyhledávání rozšířené o AI, když modely interpretují každodenní jazyk neočekávanými způsoby.