관찰된 현상은 AI 모델에서 흔히 나타나는 명령 분류(command classification) 문제와 매우 비슷하다.
대형 언어 모델은 본질적으로 사용자의 지시를 수행하도록 훈련되어 있다. 실제 AI 프롬프트에서는 다음과 같은 문장이 흔하다.
이런 현상은 AI 보안 분야에서 말하는 프롬프트 인젝션(prompt injection) 문제와도 개념적으로 비슷하다. 프롬프트 인젝션은 모델이 입력 속의 지시문을 그대로 따라가면서 원래 의도된 작업 대신 다른 행동을 하는 취약점을 말한다.
이번 사례는 악성 공격은 아니지만, 언어의 모호성 때문에 시스템이 의도를 잘못 해석한 사례라고 볼 수 있다.
이 현상이 더 이상하게 보이는 이유는 AI Overviews가 검색 결과 상단을 차지하기 때문이다.
AI가 쿼리를 요약할 수 있다고 판단하면 결과 페이지 맨 위에 AI 패널이 표시된다. 그런데 이 버그가 발생하면 AI가 정보를 요약하는 대신 대화형 메시지 같은 응답을 생성한다.
결과적으로:
이 문제가 처음 있는 일은 아니다. AI Overviews는 출시 이후 몇 차례 기이한 답변으로 화제가 된 적이 있다.
대표적인 사례는 다음과 같다.
구글은 당시 원인으로 다음을 지목했다.
이번 ‘disregard’ 버그 역시 사용자 의도를 잘못 해석한 같은 유형의 문제로 볼 수 있다.
문제가 완전히 해결되기 전까지는 몇 가지 간단한 방법으로 정상적인 검색 결과를 볼 수 있다.
4. 더 명확한 문장으로 검색
define disregarddisregard meaning
이번 사건은 AI 기반 검색 인터페이스의 근본적인 난제를 보여준다.
전통적인 검색 엔진은 사용자의 입력을 **정보 요청(query)**으로 처리한다. 반면 대형 언어 모델은 입력을 **명령(instruction)**으로 해석하도록 설계돼 있다.
이 두 방식이 결합되면 문제가 생긴다.
단어 하나만 입력된 경우:
이 두 의도를 안정적으로 구분하는 것은 여전히 AI 인터페이스 설계에서 해결되지 않은 과제로 남아 있다.
구글은 현재 이 문제를 수정 중이라고 밝혔지만, 이번 사건은 AI가 일상적인 언어를 예상치 못한 방식으로 해석할 수 있다는 점을 다시 한 번 보여준 사례가 됐다.
Comments
0 comments