데스크톱 AI 에이전트가 사용자가 자리를 비운 사이에도 일하고, 막히는 순간에는 다시 사람의 손을 빌릴 수 있도록 기능이 확장되고 있다. 2026년 10월 28일 업데이트에서 바이트댄스의 두부 작업은 컴퓨터 조작 과정을 기록해 재사용하는 기능과 Mac 잠금 중 작업을 이어가는 기능을 선보였다. 텐센트 WorkBuddy는 휴대전화로 PC 화면을 실시간 확인하고 원격으로 조작하는 기능을 추가했다.
49
50
34
두 업데이트는 비슷해 보여도 해결하려는 문제가 다르다. 두부 작업은 반복 절차를 한 번 가르쳐 두고 다시 활용하는 쪽이고, WorkBuddy는 작업이 진행되는 모습을 확인한 뒤 사용자가 직접 개입하는 쪽이다.
두부 작업: 한 번 보여주고, 다음에는 다시 활용
두부 작업은 사용자가 컴퓨터에서 하는 일을 시연하면 그 과정을 개인 스킬로 저장할 수 있다. 브라우저 조작만 기록하던 기능에서 나아가, 이번 업데이트에서는 데스크톱의 여러 프로그램을 오가는 작업도 기록 대상으로 넓혔다. 화면을 클릭하는 정확도와 속도도 개선됐다고 보도됐다.
49
50
기록할 때는 작업을 직접 보여주는 동시에 음성으로 조건을 설명할 수 있다. 예를 들어 파일을 정리하면서 “이 폴더만 처리하고, 파일명은 날짜 기준으로 붙여 달라”고 알려주는 식이다. 녹화가 끝나면 조작 순서와 설명을 바탕으로 스킬이 만들어진다. 다음에 비슷한 일을 할 때는 해당 스킬을 불러오고, 이번에 처리할 대상이나 달라진 조건만 덧붙이면 된다.
49
50
Mac 잠금 중에도 컴퓨터 조작이 필요한 작업을 계속할 수 있는 기능도 추가됐다. 사용자가 설정을 켜고 작업을 승인하면, 컴퓨터를 떠난 뒤 휴대전화로 잠긴 Mac에 작업을 보내고 결과를 확인할 수 있다. 돌아와 Mac을 잠금 해제하면 작업을 이어서 직접 관리할 수 있다.
50
51
다만 ‘잠가도 된다’는 말이 Mac을 꺼두거나 완전히 방치해도 된다는 뜻은 아니다. 기기는 켜져 있고 네트워크에 연결돼 있어야 하며, 잠금 상태에서도 깨어 있고 두부 작업 클라이언트가 실행 중이어야 한다.
49
51
두부 작업은 최근 다른 AI 제품의 대화와 기억을 가져오는 기능, 캔버스, 여러 에이전트의 병렬 작업도 지원하는 것으로 보도됐다.
3
50 다만 이번 컴퓨터 조작 업데이트의 핵심은 반복해서 설명하던 데스크톱 작업 절차를 기록하고 다시 쓸 수 있게 한 점이다.
WorkBuddy: 휴대전화로 지켜보다가 직접 개입
WorkBuddy의 원격 제어는 작업을 눈으로 확인하고 필요한 순간 직접 넘겨받는 방식이다. 휴대전화 앱을 컴퓨터에 연결하면 데스크톱 화면을 실시간으로 볼 수 있다. 화면은 앱 홈이나 대화 화면 위에 작은 창으로 표시되고, 아래쪽 입력창도 그대로 쓸 수 있어 에이전트가 엉뚱한 방향으로 가면 지시를 보태 바로잡을 수 있다.
34
35
더 직접 조작해야 할 때는 전체 화면 원격 조작으로 전환할 수 있다. 보도에 따르면 휴대전화 화면을 가로 모드로 바꾸고 터치로 PC를 조작할 수 있으며, 키보드·단축키 도구와 작은 버튼을 정확히 가리키기 위한 가상 마우스도 제공된다.
37
39
이 기능을 쓰려면 WorkBuddy 모바일 앱은 2.7.0 이상, macOS 데스크톱 앱은 5.9.3 이상이어야 한다. 처음 연결할 때 컴퓨터에서 원격 연결을 허용하고 화면 녹화와 손쉬운 사용 권한 등을 설정해야 한다.
35 WorkBuddy 문서에 따르면 원격 조작은 데스크톱에서 이미 허용된 권한 범위를 넘지 않는다.
31
휴대전화로 작업 지시를 보내는 기능 자체는 이전에도 있었지만, 이번 원격 제어는 실시간 화면 확인과 데스크톱 직접 조작을 더했다.
33
34 로그인이나 권한 승인처럼 AI가 혼자 처리하기 어려운 단계에서 사람이 이어받을 수 있다는 점이 차이다.
달라진 점과 남아 있는 조건
두 기능을 함께 보면 데스크톱 에이전트가 컴퓨터 앞에 사람이 계속 앉아 있어야 하는 부담을 줄이는 방향으로 움직이고 있다. 두부 작업은 시연한 절차를 재사용하고, 조건을 갖추면 잠긴 Mac에서 작업을 이어간다. WorkBuddy는 휴대전화에서 작업 화면을 확인하고 직접 조작할 수 있게 한다. 그렇다고 사용자의 승인이나 정상적으로 작동하는 컴퓨터 세션이 필요 없어진 것은 아니다.
49
51
34
WorkBuddy에 대해서는 인증된 휴대전화 한 대만 한 번에 연결할 수 있고, 원격 세션은 암호화되며, 화면 이미지나 사용자 입력을 저장하지 않고, 원격 제어에는 토큰이 아니라 데이터 통신량이 쓰인다는 내용도 보도됐다.
35
39 다만 이는 보도에 소개된 제품 측 설명이지, 독립적으로 검증된 보안·요금 보장은 아니다. 또 토큰 관련 설명은 원격 제어 조작에 관한 것으로, AI 작업 자체에도 토큰이 들지 않는다는 의미는 아니다.
39