긴 자료를 AI에게 통째로 맡기고 싶을 때, 핵심은 모델의 문맥 창을 무한히 키우는 데 있지 않습니다. 자료 전체를 보관해 두고, 지금 필요한 대목을 골라 읽히며, 결과와 근거를 이어서 쌓을 수 있도록 작업 흐름을 설계하는 데 있습니다.
한 번에 제출해도, 한 번에 읽힐 필요는 없다
모델의 문맥 창은 답변을 만들 때 참조할 수 있는 작업 공간입니다. 대화와 자료가 길어지면 이 공간의 한계에 닿을 수 있으므로, 장기 작업에서는 내용을 정리해 이어 가는 등 문맥 관리가 필요합니다.
1
따라서 사용자는 자료를 한꺼번에 제출하되, 시스템은 원문을 모델 바깥에 보관하고 필요한 부분만 불러오는 방식을 취할 수 있습니다. 이렇게 하면 자료를 처음부터 고정된 길이의 요약 하나로 줄이지 않고도, 후속 질문에 맞춰 원문을 다시 확인할 수 있습니다.
긴 입력을 다루는 재귀 언어 모델
재귀 언어 모델(Recursive Language Models, RLM)은 긴 입력을 모델에 통째로 넣는 대신 외부 환경에 두고, 모델이 내용을 살펴보고 나누어 읽은 뒤 일부 구간에 대해 다시 모델을 호출하는 접근법입니다. 연구진은 이 방식으로 모델의 문맥 창보다 훨씬 긴 입력을 처리할 수 있다고 보고했습니다.
3
이 아이디어를 실제 시스템으로 옮기는 구현 사례도 등장했습니다. AWS는 Amazon Bedrock AgentCore Code Interpreter와 Strands Agents SDK를 활용해 RLM을 구현하는 방법을 소개했습니다.
6 다만 이런 사례가 모든 AI 도구나 환경에 같은 기능이 이미 갖춰져 있다는 뜻은 아닙니다. 하위 작업을 얼마나 나눌지, 결과를 어떻게 검토할지, 비용과 오류를 어떻게 관리할지는 별도로 설계해야 합니다.
‘세 번 읽기’는 횟수보다 단계가 중요
자료를 여러 번 살펴보는 전략을 쓴다면, 기계적으로 모든 문서를 세 차례 반복하기보다는 각 단계의 목적을 나누는 편이 효율적입니다.
- 전체 윤곽 잡기: 자료의 종류와 범위를 파악하고, 질문과 핵심 제약, 추가 확인이 필요한 지점을 정리합니다.
- 근거 확인하기: 결정에 필요한 질문별로 관련 자료를 읽고, 주장과 출처, 한계와 반대 근거를 기록합니다.
- 중요 쟁점 깊이 읽기: 선택에 영향을 미치는 가정과 충돌하는 근거를 다시 확인합니다. 새로 읽어도 판단이 달라지지 않는다면 불필요한 반복은 멈춥니다.
이 단계 구분은 긴 자료를 다루기 위한 실무적 제안이지, 모든 과제에 적용되는 정해진 공식은 아닙니다. 중요한 것은 무엇을 읽었고 무엇이 아직 확인되지 않았는지를 구별하는 일입니다.
대화가 끝나도 다음 단계로 이어지게
긴 작업은 한 번의 대화나 한 개의 문맥 창 안에서 끝나지 않을 수 있습니다. 장기 작업을 다룰 때는 과제를 작은 단위로 나누고, 다음 작업자가 이어받을 수 있도록 분명한 기록을 남기는 방식이 활용됩니다.
7 또 AI 에이전트의 문맥을 설계할 때는 모든 정보를 미리 넣기보다 필요한 정보를 적시에 가져오는 전략이 권장됩니다.
12
실제 흐름에서는 출처별 원문 위치와 확인 상태를 기록하고, 중간 결과에는 근거와 미해결 질문을 남기는 것이 좋습니다. 자료에 접근하지 못했거나 작업 도중 오류가 났다면, 읽은 것처럼 넘어가지 말고 어떤 부분이 막혔는지 밝혀야 합니다. 이렇게 해야 최종 답변의 범위와 확실성을 독자가 판단할 수 있습니다.
에이전트의 작업 기록을 정리해 새 노트와 표현으로 만드는 ‘기억’ 방식도 연구되고 있습니다.
4 이런 기능은 다음 작업을 돕는 보조 수단이지, 매번 필요한 원문 확인을 대신하거나 문맥 창의 한계를 없애는 것은 아닙니다.
목표는 무한 입력이 아니라 이어지는 조사
긴 자료를 효과적으로 다루는 시스템은 모든 문장을 한 번에 모델에게 넘기는 시스템과 다릅니다. 전체 자료를 보관하고, 질문에 맞춰 일부를 읽히며, 근거와 미확인 사항을 기록하고, 중간 결과를 전달할 수 있어야 합니다.
사용자가 자료를 한꺼번에 제공하는 편의성과 모델이 자료를 깊이 검토하는 능력은 양립할 수 있습니다. 다만 그 연결고리는 더 큰 문맥 창 하나가 아니라, 단계적으로 읽고 확인하며 결과를 이어 가는 작업 설계입니다.