기억의 확장사: Transformer에서 에이전트 메모리까지

2017년 Transformer의 등장부터 2020년 RAG의 외부 기억, 2023년 긴 입력의 경고, 2025년 agentic 메모리 제안까지 기억의 지형이 어떻게 바뀌었는지 따라가는 발전 과정 에세이다.

고친 내용: 초판

2017년: 읽는 기계의 교체

2017년 6월 arXiv에 공개된 Attention Is All You Need는 순환과 합성곱 없이 attention만으로 이루어진 Transformer를 제안했다. 기계 번역의 두 과제에서 보고된 수치가 말해주듯, 품질과 학습 효율을 함께 끌어올린 교체였다. 영독 번역 28.4 BLEU, 영불 번역 41.8 BLEU라는 초록의 수치는 당시 실험 설정 안의 기록이지만, 이 구조가 이후 기억 논의의 바닥이 되었다는 점은 분명하다.

Transformer가 기억의 역사에 남긴 것은 성능 기록보다 구조의 유산이다. 입력 안의 모든 위치를 서로 견주게 하는 self-attention은 컨텍스트라는 개념을 연산의 중심에 놓았다. 모델이 한 번에 헤아릴 수 있는 입력의 범위가 곧 그 모델의 작업 기억이 된 것이다. 이후의 역사는 이 작업 기억을 넓히고, 보완하고, 다시 의심하는 과정으로 읽힌다.

2020년: 기억을 밖에 두기

2020년 5월의 RAG 논문은 기억의 층을 둘로 나눴다. 가중치 속 파라메트릭 메모리와 Wikipedia 인덱스라는 비파라메트릭 메모리, 그리고 둘을 잇는 neural retriever다. 세 개의 open-domain 질의응답 과제에서 당시 최고 성능을 보고했다는 것이 초록의 주장이다. 기억을 모델 안에만 두지 않고 밖에 두되, 필요할 때 꺼내 읽는 통로를 붙인 것이다.

이 선택의 배경에는 두 가지 열린 문제가 있었다. 결정의 근거를 대는 일과 세계 지식을 갱신하는 일이다. 둘 다 가중치만으로는 풀기 어려운 숙제였다. 외부 기억은 이 숙제에 대한 구조적 답이었다. 근거는 검색된 문서가 되고, 갱신은 인덱스의 교체가 된다. 물론 검색 실패와 운영 비용이라는 새 숙제가 따라왔지만, 기억 설계의 어휘가 이때 마련되었다는 점에서 2020년은 분기점이다.

2023년: 길어진 입력과 경고

한 번에 입력할 수 있는 분량이 크게 늘어나자 낙관이 퍼졌다. 모든 자료를 입력에 넣으면 검색도 요약도 필요 없어진다는 것이다. 같은 해 7월 공개된 Lost in the Middle는 이 낙관에 실측으로 답했다. 다중 문서 질의응답과 key-value 회상에서 관련 정보의 위치만 바꿔도 성능이 크게 달라졌고, 앞과 끝은 잘 읽고 중간은 못 읽는 경향이 긴 입력용 모델에서도 관찰되었다는 것이다.

이 경고는 길어진 입력이 곧 좋아진 기억이 아님을 실측으로 보인 기록이다. 입력 칸의 확장과 정보 활용의 개선은 서로 다른 축이다. 무엇을 앞에 둘 것인가, 어떻게 나눠 물을 것인가, 검색과 입력을 어떻게 배합할 것인가. 이 글에서는 이런 물음을 던지는 편집자의 잣대로만 이 경고를 쓴다. 같은 해 4월에 먼저 공개된 Generative Agents와는 인과로 잇지 않고, 서로 다른 갈래의 접근으로 나란히 둔다.

2023년과 2025년: 경험을 쌓는 기억

같은 해 4월에는 다른 갈래의 답이 나왔다. Generative Agents는 경험을 자연어로 전부 기록하는 메모리 스트림과 이를 성찰로 종합하는 과정, 행동 계획 시점에 동적으로 꺼내는 회상을 엮었다. 25개 에이전트의 마을에서 사회적 행동이 나타났다고 보고되었다. 기억이 저장소를 넘어 행동의 재료가 된 사례다. 다만 믿음직함의 평가는 설계된 환경 안의 결과이며, 인간 사회의 재현으로 읽어서는 안 된다.

2025년 2월의 A-MEM 프리프린트는 이 갈래를 한 걸음 더 밀었다. Zettelkasten의 원칙을 빌려 구조화 노트와 동적 연결로 지식 네트워크를 만들고, 새 기억이 기존 기억을 고치는 evolution까지 제안했다. 아직 프리프린트이므로 효과 수치는 인용하지 않는다. 그러나 기억을 고정된 덩어리가 아니라 살아 움직이는 조직으로 보는 관점의 등장은 그 자체로 기록할 만하다.

지형의 요약

2017년부터 2025년까지의 궤적을 한 문장으로 줄이면 이렇다. 기억은 모델 안의 가중치에서 시작해, 모델 밖의 인덱스로 넓어지고, 입력 칸의 확장으로 부풀었다가, 위치 편향의 경고로 다져지고, 이제 경험을 쌓고 진화하는 조직으로 상상되고 있다. 각 단계는 이전 단계를 부정하는 것이 아니라 층을 더하는 방식으로 쌓였다. 오늘의 설계는 이 층들을 함께 쓴다.

남은 숙제는 처음과 크게 다르지 않다. 출처의 귀속, 지식의 갱신, 그리고 기억 자체의 평가다. 층이 늘어날수록 숙제는 복잡해졌다. 어느 층의 기억을 믿을 것인가, 충돌할 때 무엇을 우선할 것인가. 이 질문들에 대한 이 서가의 답은 아직 없다. 다만 질문의 지형도를 분명히 그리는 일이 서가의 몫이라고 믿는다.

되풀이되는 질문

기억의 역사를 관통하는 질문은 세 가지로 줄일 수 있다. 무엇을 어디에 둘 것인가, 바뀐 것을 어떻게 반영할 것인가, 그리고 기억의 덕을 어떻게 잴 것인가. 2020년의 RAG는 첫 번째 질문에 밖이라는 답을 냈고, 두 번째 질문을 인덱스의 교체로 번역했다. 2023년의 경고는 첫 번째 답을 다듬었다. 밖에 두되 앞으로 내밀 것, 그리고 골고루 읽는다는 착각을 버릴 것이다.

2023년과 2025년의 경험 기억은 세 번째 질문을 앞으로 내밀었다. 기억이 행동을 빚기 시작하자 기억 자체의 평가가 필요해진 것이다. 최종 답이 좋아졌을 때 기억의 덕분인지 모델의 덕분인지 가리는 일은 여전히 어렵다. 되풀이되는 질문들은 해결된 것이 아니라 층이 쌓일수록 모습을 바꿔 돌아온다. 이 역사의 교훈은 답의 목록이 아니라 질문의 목록이다.

층을 함께 쓰는 법

오늘의 설계는 기억의 층들을 함께 쓴다. 자주 쓰고 변하지 않는 것은 가까이에 두고, 방대하고 바뀌는 것은 밖에 두고 가져오며, 진행 중인 것은 눈앞에 두되 길어지면 다듬는다. 각 층의 대가를 함께 적는 것이 요령이다. 검색에는 운영비가, 긴 입력에는 계산비가, 요약에는 손실의 위험이 따른다. 층을 아는 것이 배합의 시작이다.