생성형 AI가 스마트홈을 자꾸 망가뜨리는 이유

생성형 AI는 스마트 스피커를 훨씬 유연한 대화 상대로 만들었습니다. 이제 사용자는 기기 이름과 밝기 수치를 정확히 말하는 대신 “불을 조금 어둡게 해줘”라고 요청할 수 있습니다. 아마존이 2025년 2월 공개한 Alexa+도 이런 자연어 제어를 핵심 기능으로 내세웠습니다.

하지만 대화가 자연스러워졌다고 해서 집안 기기 제어까지 안정적으로 작동하는 것은 아닙니다. 오히려 조명 켜기, 디머 밝기 설정, 음악 재생, 루틴 실행 같은 기본 기능에서 오류와 지연이 발생하고, 예전에는 잘 되던 명령을 다시 표현해야 한다는 평가가 이어졌습니다.

핵심은 간단합니다. 대화는 해석과 즉흥성을 반기지만, 홈 자동화는 정확성과 반복 가능성을 요구한다는 점입니다.

대화형 AI와 스마트홈 제어의 구조가 다르다

기존 음성 비서는 대체로 제한된 의도와 문장을 인식해 미리 정해진 동작으로 연결했습니다. 예를 들어 다음과 같은 요청입니다.

침실 램프 밝기를 45%로 설정해

시스템은 이 문장을 특정 기기, 특정 기능, 특정 값에 대응시켜 정해진 연동 경로를 실행할 수 있었습니다. 표현 방식은 딱딱했지만, 구조가 단순한 만큼 결과를 예측하기도 쉬웠습니다.

반면 생성형 AI 비서는 실제 동작에 앞서 여러 단계를 거칩니다. 사용자의 의도를 추론하고, 어느 방의 어떤 기기인지 파악하며, 현재 맥락을 해석하고, 해당 기기가 지원하는 기능을 선택한 다음, 스마트홈 플랫폼에 전달할 API나 도구 호출을 구성해야 합니다. 이후에도 클라우드 서비스, 허브, 제조사별 연동 시스템을 통과해야 합니다.

이 과정에서 기기 이름을 잘못 이해하거나, 존재하지 않는 기능을 선택하거나, 잘못된 매개변수를 만들거나, 오래된 기기 상태를 참고하거나, 연결 시간이 초과될 수 있습니다. 어느 한 단계만 어긋나도 불이 켜지지 않거나 엉뚱한 기기가 작동할 수 있습니다.

조지아공과대학교의 마크 리들 교수는 LLM이 더 다양한 표현을 이해하고 소통할 수 있게 된 만큼, 해석 과정에서 실수가 발생할 기회도 늘었다고 설명했습니다. 기존의 템플릿 매칭 방식과 달리 트랜스포머 기반 시스템은 확률적으로 응답을 만들어 같은 유형의 요청에도 다른 결과를 낼 수 있다는 분석입니다.

‘불을 켜줘’ 같은 단순한 명령이 오히려 더 까다롭다

사용자 입장에서 조명 켜기는 쉬운 일입니다. 대상 기기 하나를 고르고, 상태를 ‘켜짐’으로 바꾸고, 즉시 결과를 확인하면 됩니다. 이 작업에는 그럴듯한 답변이 필요하지 않습니다. 실제로 지정한 조명이 켜져야 합니다.

바로 이 이분법적인 기준이 생성형 AI의 약점을 드러냅니다. AI는 유창하게 “침실 조명을 켰어요”라고 말하면서도 다른 기기를 선택했거나, 그룹에 속한 조명 일부만 작동시켰거나, 실제 상태를 확인하지 않은 채 성공했다고 답할 수 있습니다.

대화형 AI라면 애매한 질문에 되묻는 것이 자연스러울 수 있습니다. 그러나 잠자리에 들며 “잘 자”라고 말했는데 루틴이 실행되지 않거나, 외출 후 조명이 켜진 채 남아 있다면 사용자는 이를 대화의 작은 실수로 받아들이기 어렵습니다. 집안 기기 제어에서 신뢰는 한 번의 인상적인 시연보다 반복되는 성공률로 만들어지기 때문입니다.

Alexa+ 역시 더 많은 기능과 자연스러운 대화를 제공하지만, 기존 서비스와 수백만 대의 Alexa 호환 기기를 동시에 안정적으로 연결해야 한다는 통합 과제를 안고 있습니다. 보도된 평가에서도 더 유연해진 모델이 기본 기능을 일관되게 실행하는 데 어려움을 겪는 모습이 나타났습니다.

데이비드 포그의 135개 요청 테스트가 보여준 것

기술 칼럼니스트 데이비드 포그는 Alexa+에 135개 작업을 요청했고, 그중 정확히 처리한 비율이 절반에 조금 못 미쳤다고 밝혔습니다.

이 결과를 Alexa+ 전체 사용자의 공식 성공률로 해석해서는 안 됩니다. 특정 사용자가 수행한 실사용 테스트이며, 모든 기기와 환경을 대표하는 통제된 연구도 아닙니다.

그럼에도 제품 신뢰도에 대한 강한 신호인 것은 분명합니다. 가정용 비서가 일상적인 요청에서 비슷한 빈도로 실패한다면 사용자는 조명, 디머, 루틴, 음악 재생 같은 반복 작업을 맡기지 않게 됩니다. 포그는 과거 버전의 Alexa가 조명 켜기나 밝기 조절 같은 익숙한 작업에서는 더 안정적이었다고도 전했습니다.

여기서 중요한 구분이 있습니다. 기능의 폭이 넓어졌다는 사실과 신뢰성이 높아졌다는 사실은 서로 다릅니다. 더 많은 종류의 질문에 답할 수 있어도, 사용자가 매일 반복하는 소수의 명령에서 예측 가능성이 떨어진다면 실제 제품으로서는 퇴보일 수 있습니다.

지연 시간도 곧 신뢰성이다

스마트홈에서 속도는 편의성만의 문제가 아닙니다. 신뢰성의 일부이기도 합니다. 벽 스위치는 왜 그런 동작을 했는지 설명하지 않습니다. 누르면 바로 반응할 뿐입니다.

Alexa+ 일부 테스트에서는 응답에 최대 15초가 걸렸다는 보고가 나왔습니다. 조명이나 온도조절기 제어는 비교적 빠르더라도, 날씨를 확인하거나 음악을 재생하는 데 10초 이상 걸리면 사용자는 명령이 접수됐는지조차 확신하기 어렵습니다.

이런 지연은 요청이 원격 추론, 맥락 처리, 작업 조율, 도구 실행 등 더 많은 계층을 통과한다는 신호일 수 있습니다. 결국 스마트 스피커는 가전제품을 조작하는 도구라기보다, 자신의 요청이 무슨 뜻인지 판단하는 온라인 서비스처럼 느껴집니다.

애플도 같은 딜레마에 들어섰다

이 문제는 아마존만의 것이 아닙니다. 애플이 HomePod와 Apple TV에 AI 기반 Siri를 통합하려 한다는 정황도 나오고 있습니다. tvOS 27 베타 코드에는 차세대 Siri 경험과 HomePod·Apple TV 통합을 준비하는 내용이 포함된 것으로 알려졌습니다.

차세대 Siri가 준비될 때까지 새로운 HomePod와 Apple TV 하드웨어 출시가 미뤄지고 있다는 보도도 있었습니다. 다만 이는 애플이 공식적으로 확정한 출시 일정이 아니라 외부 보도에 해당하므로 신중하게 받아들여야 합니다.

그럼에도 의미 있는 점은 있습니다. 스마트 스피커의 제품 가치가 새로운 AI 비서에 크게 의존하게 되면, 비서 소프트웨어가 완성되지 않은 상황에서 하드웨어 출시까지 영향을 받을 수 있다는 것입니다. 시연에서는 인상적이지만 일상적인 집안일에서는 불안정한 AI를 제품의 핵심으로 삼을수록 제조사가 감수해야 할 출시 비용도 커집니다.

더 나은 해법은 ‘AI를 앞에, 결정론적 제어를 뒤에’ 두는 것

자연어 인터페이스 자체를 포기할 필요는 없습니다. 생성형 AI는 사용자가 편하게 말한 문장을 구조화된 의도로 변환하는 데 유용합니다. 문제는 검증되지 않은 모델이 실제 실행의 최종 권한까지 갖는 데 있습니다.

보다 안정적인 구조라면 다음과 같은 안전장치를 둬야 합니다.

• 요청을 엄격한 ‘기기·동작·매개변수’ 형식으로 변환한다.
• 실제 집에 존재하고 해당 기능을 지원하는 도구만 선택하도록 제한한다.
• 애매하거나 유효하지 않은 명령은 추측하지 말고 되묻거나 거부한다.
• 실행 후 실제 기기 상태를 확인한다.
• 모델이 확신하지 못하거나 연결이 끊기면 결정론적인 기존 명령 경로로 전환한다.

스마트홈 환경에서 LLM을 평가한 연구도 이런 검증 절차의 필요성을 뒷받침합니다. 13개 모델을 대상으로 한 특정 실험에서 GPT-4o는 유효하지 않은 다중 기기 지시를 처리하는 시나리오의 성공률이 0%였습니다. 문맥 내 학습, 검색 증강 생성, 파인튜닝을 적용한 경우에도 마찬가지였습니다.

물론 이 수치는 일상적인 스마트홈 전체 성능을 뜻하지 않습니다. 다만 실제 기기를 제어하기 전에 모델의 출력을 엄격하게 검증해야 하는 이유를 보여주는 사례입니다.

AI 스마트 스피커의 정체성 위기

아마존과 애플을 비롯한 기업들은 하나의 제품에 서로 다른 두 가지 역할을 기대하고 있습니다. 대화형 동반자는 탐색적이고 장황하며 애매한 표현을 어느 정도 허용할 수 있습니다. 반면 가정의 제어 시스템은 빠르고 조용하며 상태를 정확히 파악하고 매번 같은 결과를 내야 합니다.

기존 음성 비서는 정해진 표현을 외워야 한다는 불편이 있었습니다. 생성형 AI는 이 부담을 줄이겠다고 약속했습니다. 그러나 자연어는 문제의 앞부분일 뿐입니다. “거실 불을 조금 어둡게 해줘”라는 말 뒤에는 결국 하나의 구체적인 실행이 놓여 있습니다. 정확한 대상, 정확한 상태 변화, 그리고 실제로 실행됐다는 확인입니다.

대화형 AI를 결정론적인 제어 소프트웨어 위에 얹는 구조가 정착되지 않는다면, ‘더 똑똑해진’ 음성 비서는 오히려 음성 제어의 가장 중요한 자산인 신뢰를 잃을 수 있습니다. 완성되지 않은 시스템을 먼저 출시해 사용자 피드백을 받는 방식은 개발 과정에서는 도움이 될 수 있지만, 그 테스트 비용을 유료 가정에 떠넘긴다면 소비자는 제품 사용자가 아니라 사실상 베타테스터가 됩니다.