[기획: AI 트렌드] 같은 메모리를 붙여도 이득은 아홉 배 갈렸다 — Anthropic 메모리 실험에서 점수를 올린 지시는 「먼저 읽고 시험하라」였다

파일 413개와 아홉 개

게임 「포켓몬 레드」를 하던 두 Claude 모델이 메모리 파일을 남겼습니다. Sonnet 3.7은 이백 개 넘는 폴더에 파일 413개를 쓰고, 배지 하나를 얻었습니다. Fable 5는 두 폴더에 파일 아홉 개, 그리고 맨 위 global.md 하나를 썼습니다. 배지는 넷을 얻었습니다.

배지는 게임 속 관문을 하나 넘을 때마다 받는 표시라, 많을수록 멀리 갔다는 뜻입니다(우리 설명). 다만 두 모델은 서로 다르고, 실험도 모델마다 한 번씩뿐입니다. 이 대비 하나로는 원인을 가를 수 없습니다(우리 판단).

에이전트는 도구를 쓰며 여러 단계를 스스로 밟아 일을 끝내는 AI입니다(우리 설명). 이 장면은 11월 6일 Anthropic 엔지니어링 블로그에 실린 에이전트 메모리 글에 나옵니다.

그 글이 말하는 메모리는 에이전트가 경험에서 얻은 지식을 나중에 읽을 수 있게 저장해 둔 것입니다. 모델 내부 수치인 가중치를 학습으로 바꾸는 일은 여기에 들지 않습니다. 한 대화 안에서 잠깐 익히는 일이나, 긴 대화를 줄여 담는 압축도 빠집니다.

세션은 에이전트가 일을 한 번 시작해 마치는 단위입니다(우리 설명). 컨텍스트는 모델이 답을 만들 때 한꺼번에 보는 글입니다(우리 설명). 메모리는 나중에 컨텍스트로 읽어 들일 수 있는 글로 저장됩니다.

가중치를 고쳐 새것을 배우면 옛 지식이 무너지는 문제를 우리는 파국적 망각 — 뇌는 잊어서 배우고, 기계는 배운 자리에 저장하다 무너진다에서 다뤘습니다. 이 메모리는 가중치를 건드리지 않으니 그 문제를 비켜 갑니다(우리 판단).

Refract는 Anthropic의 Claude로 글을 분석하고 씁니다. 이 글의 수치는 모두 Anthropic이 자기 모델로 잰 결과입니다.

같은 메모리, 다른 이득

벤치마크는 여러 모델에게 같은 문제를 풀게 해 점수를 견주는 시험입니다(우리 설명). Anthropic은 CL-Bench라는 벤치마크의 데이터베이스 과제로 메모리 효과를 쟀습니다. CL-Bench는 오래 이어지는 과제를 메모리를 써서 풀어 가는 능력을 잽니다. 문항마다 새 세션을 열고, 메모리 폴더만 다음 문항으로 넘깁니다.

점수는 평균 보상입니다. 문항을 하나 풀 때마다 받는 점수(보상)의 평균으로, 높을수록 잘 풀었다는 뜻입니다(우리 설명). 기준은 메모리 없이 매번 처음부터 푸는 조건이고, 이를 무상태라 부릅니다. 메모리를 붙여 오른 점수를 이 글에서는 이득이라 부릅니다.

Opus와 Sonnet은 Claude 모델 계열의 이름입니다(우리 설명). Opus 4.7은 무상태 0.383에서 메모리를 붙이자 0.700이 됐습니다. Sonnet 4.6은 0.330에서 0.364로 오르는 데 그쳤습니다. 같은 방식의 메모리를 줬는데, 이득은 Opus 4.7이 Sonnet 4.6의 약 아홉 배였습니다(우리 계산).

메모리를 붙이자 Opus 5.5·Sonnet 5.5·Opus 5 세 모델은 거의 같은 점수로 모였습니다. 무상태에서 0.091이던 Opus 5.5와 Opus 5의 차이는, 메모리를 붙이자 0.010으로 줄었습니다(우리 계산).

표에는 몇 번 돌려 낸 평균인지가 적혀 있지 않습니다. CL-Bench를 누가 만들었는지도 글에 나오지 않습니다.

읽지 않는 메모리, 정해 준 사용법

Sonnet 5는 답하기 전에 열 번 중 아홉 번 메모리를 먼저 읽었습니다. Sonnet 4.6이 메모리를 읽은 경우는 절반에 못 미쳤습니다. CL-Bench 표에서 Sonnet 5는 0.306에서 0.610으로 올랐습니다. 두 모델을 견주면 자주 읽은 모델의 이득이 훨씬 컸습니다(우리 계산).

이 차이를 모델 성능 탓으로만 돌리기는 어렵습니다(우리 판단). 같은 모델로 지시만 바꾼 실험이 있기 때문입니다. 지시는 모델에게 일을 맡기며 글로 건네는 안내문이고, 프롬프트라고도 합니다(우리 설명). Anthropic은 Sonnet 4.6에게 답하기 전에 메모리 파일을 읽고, 자기 가설을 분명히 시험해 보라고 지시했습니다. 모델은 그대로인데 점수가 0.364에서 0.641로 올랐습니다.

다만 사용법까지 정해 주면 역효과가 났습니다. 「실패만 기록하라」는 규칙을 두자 이득이 오히려 줄었습니다. Opus 5는 이득이 0.234 줄었고, Opus 4.7도 크게 줄었습니다. CL-Bench 표에서 Opus 5가 메모리로 얻은 이득은 0.264였습니다(우리 계산). 저자들은 메모리가 무엇을 위한 것인지는 말하되, 어떻게 쓸지는 말하지 말라고 권합니다.

Anthropic 글은 Claude Code 문서의 경고도 함께 옮깁니다. 지시 파일이 길수록 지시를 지키는 비율이 떨어진다는 내용입니다. Claude Code는 메모리 파일 MEMORY.md도 앞 200줄 또는 25KB까지만 불러옵니다.

잠자는 동안 고친 노트

포켓몬 실험의 노트 하나에는 포켓몬센터가 동쪽에 있다는 잘못된 내용이 있었습니다. Claude는 「Mt Moon DONE」(Mt. Moon 완료)이라고 적은 뒤, 한 방향으로만 넘을 수 있는 절벽에서 세 번 떨어졌습니다.

세션이 끝난 뒤 메모리를 정리하는 과정을 흔히 dreaming(꿈꾸기)이라 부른다고 저자들은 적었습니다. dreaming은 Claude가 노트를 원래 작업 기록과 맞춰 시험해 보는 방법입니다. 작업 기록은 에이전트가 실제로 주고받은 내용을 그대로 남긴 기록입니다(우리 설명). 이 대조로 메모리의 실수를 고치기도 합니다.

dreaming으로 노트를 고친 판은 1,935번째 조작에서 Cerulean City에 닿았습니다. 원래 노트로 한 판과 메모리 없이 한 판은 거기까지 가지 못했습니다.

dreaming으로 원 자료를 정리해 위키를 만드는 실험도 있었습니다. 위키는 원 자료를 주제별로 정리한 노트 모음이고, 검색은 그때그때 원 자료에서 필요한 부분을 찾아 읽는 방식입니다(우리 설명).

Stainless라는 대규모 자료 묶음에서 위키와 검색을 함께 쓰면 채점 기준의 61%를 채웠고, 검색만은 53%였습니다. 함께 쓴 쪽은 문항마다 토큰(모델이 글을 처리하는 단위 조각)도 덜 썼습니다. Harvey LAB 합병 문항은 위키 87% 대 검색 73%였지만, 이득이 뚜렷하지 않거나 위키가 원 자료보다 커진 과제도 있었습니다. 정리에는 계산 자원이 듭니다. 모든 메모리를 늘 검사하기는 현실적이지 않을 수 있다고 저자들은 적었습니다.

이 실험들에서 이득을 가른 것은 무엇을 얼마나 쓰느냐보다, 답하기 전에 다시 읽고 적힌 내용을 시험하느냐였습니다(우리 판단 · 확신도 중간). 쓰는 규칙을 정해 주자 이득이 줄었고, 읽고 시험하라고 하자 같은 모델의 점수가 거의 두 배가 됐습니다. 세션이 끝난 뒤 노트를 원 기록에 대어 고치는 dreaming도 같은 일을 다른 때에 하는 과정입니다(우리 판단). 저장량에 대해서는 모델이 다른 한 쌍, 한 번씩의 비교뿐이라 말하기 어렵습니다.

포켓몬 실험에서 틀린 노트를 고치지 않은 판은 메모리 없는 판처럼 Cerulean City에 닿지 못했습니다. 시험하지 않은 메모리는 적어도 이 한 판에서 없는 것과 다르지 않았습니다(우리 판단 · 1회 실험). 저자들은 앞으로의 대화에서 무슨 일이 생길지 정말 아는 모델은 없다고 적었습니다. 정해서 해가 된 것은 쓰기 규칙이었고, 득이 된 것은 읽기와 시험이었습니다(우리 판단).

AI 에이전트의 메모리 기능을 따질 때는, 얼마나 많이 저장하는지보다 답하기 전에 그 메모리를 실제로 여는지를 먼저 볼 일입니다(우리 판단). 메모리를 맡길 때는 목적을 말하고, 적는 규칙은 정하지 않는 편이 낫습니다(우리 판단). 확신도를 중간에 둔 것은 수치가 모두 Anthropic의 자기 측정이고, 포켓몬 실험이 모델당 한 번뿐이기 때문입니다.