MemTensor가 모델 내부에 지속형 메모리를 두는 기초 모델군 MemT 1.0을 공개했다. Flash와 Nano 두 종류로, 대화가 길어질수록 전체 기록을 매번 다시 처리하는 대신 필요한 정보를 일정한 크기의 내부 상태에 저장해 활용하는 것이 핵심이다. 10월 22일 공개된 보도는 발표 시점을 10월 21일 저녁으로 전했다.
8
공개된 속도·저장 공간 수치는 MemTensor가 자체 테스트에서 얻은 결과다. 모든 하드웨어와 서비스 환경에서 같은 개선 폭이 나온다는 뜻은 아니다.
8
13
모델 두 종류, 규모와 메모리 크기는 달라
두 모델은 전체 파라미터와 추론 중 활성화되는 파라미터뿐 아니라, 학습 가능한 메모리 파라미터와 동적 메모리 상태 규모도 다르다.
4
5
| 모델 |
전체 파라미터 |
활성 파라미터 |
학습 가능한 메모리 파라미터 |
동적 메모리 상태 |
| MemT-1.0-Flash |
288B |
17B |
3.61B |
336M |
| MemT-1.0-Nano |
36B |
3B |
451M |
10M |
모델 가중치는 Hugging Face에서 확인할 수 있다. 구현 자료와 기술 보고서 MemT-1.0: Towards Memory-Native Evolution은 공식 GitHub 저장소에서 제공된다.
4
5
20
21
대화 기록 대신 ‘고정 크기 메모리’에 저장
일반적인 전체 문맥 방식은 대화 기록을 모델 입력에 포함한다. 기록이 쌓이면 모델이 처리해야 할 문맥도 길어진다. MemT는 학습 가능한 메모리 모듈을 두고, 상호작용 뒤 새 정보를 고정 크기의 내부 상태에 반영한 다음 이후 응답에서 그 상태를 참고하도록 설계됐다. 매번 길어진 대화록 전체를 다시 넣지 않는다는 구상이다.
7
25
MemTensor는 총 340억 토큰으로 두 단계 학습을 진행했다고 설명했다. 먼저 계속 사전학습을 하고, 이어서 후속 학습을 해 정보를 메모리에 쓰고 저장된 내용을 바탕으로 답하는 능력을 익히도록 했다는 것이다.
8
31
자체 평가에서 보고한 속도·저장 공간
회사가 공개한 장문 기록 테스트에서 Nano는 기록이 128K 토큰일 때 전체 문맥 기준 방식보다 종단 간 추론 속도가 약 1.86배, 256K 토큰일 때 약 3.99배 빨랐다.
8
9 특정 평가 조건에서 얻은 수치인 만큼, 실제 서비스의 속도는 작업 종류와 배포 환경에 따라 달라질 수 있다.
13
첫 토큰이 나오기까지의 시간과 세션별 저장 공간도 비교됐다. 256K 기록 조건에서 MemT의 질의 첫 토큰 지연 시간은 약 104~112밀리초로 보고됐다. 전체 문맥 방식은 약 445밀리초였다. 같은 조건에서 세션별 지속 메모리 상태는 약 40MiB, 전체 문맥 방식의 KV 캐시는 약 5.06GiB로, 비교 기준상 저장 공간이 약 130분의 1이었다.
13
22
25
다만 이는 세션 상태와 KV 캐시를 비교한 결과다. 모델 가중치나 서비스 운영에 필요한 다른 자원까지 포함한 전체 비용 비교로 해석해서는 안 된다.
기억력 벤치마크에서는 1·2위
11개 메모리 벤치마크에서 Flash의 평균 점수는 50.6점, Nano는 47.0점이었다. 평가에 포함된 파라미터형 메모리 방식 가운데 각각 1위와 2위를 기록했다. 질의 시점에 원래 대화 기록을 제공하지 않는 조건에서 진행한 테스트다.
9
14
보고서는 검색증강 방식과 비교해도 경쟁력 있는 결과라고 설명한다.
9 다만 이것만으로 MemT가 모든 검색 시스템이나 작업에서 동등한 성능을 낸다고 단정할 수는 없다. 또 방해 정보가 많은 조건의 일반 능력 평가에서 Flash는 메모리를 붙이기 전 기준 모델과 대체로 비슷한 수준을 유지했고, 일부 벤치마크에서는 개선됐다고 보도됐다.
7
25
가중치와 소프트웨어 라이선스는 따로 확인해야
모델 가중치와 추론 소프트웨어의 이용 조건은 서로 다르다. Hugging Face 모델 카드에 따르면 Flash 가중치는 MIT, Nano 가중치는 Apache 2.0 라이선스다.
20
21 반면 함께 제공되는 추론 소프트웨어 자료에는 PolyForm Noncommercial 1.0.0이 명시돼 있다. 코드를 상업적으로 이용하려는 경우 관련 저장소의 라이선스와 제3자 구성 요소의 조건을 별도로 확인해야 한다.
18
20
21
30
MemT 1.0이 제시하는 방향은 분명하다. 긴 대화의 유용한 정보를 크기가 제한된 내부 상태로 이어받아, 기록을 반복 처리하는 부담과 세션별 저장 공간을 줄이겠다는 것이다. 공개된 실험 결과는 이 접근의 가능성을 보여주지만, 어디서나 같은 성능이 보장되는 것은 아니다.