AI의 기억과 컨텍스트

언어모델의 파라미터, 컨텍스트, 외부 저장소가 각각 어떤 역할을 하는지 살펴보고 긴 입력과 에이전트 메모리의 한계를 정리한다.

개정 2판 · 최근 고침: 독자에게 보이는 문장과 용어를 다듬고 기존 근거 연결을 유지했다. · 고침 기록 보기

이 글은 개념 설명이며, 개별 연구의 수치는 연결된 연구 소개에서 다루는 출처 범위로 한정한다.

언어모델에 기억이 필요한 이유

대규모 언어모델은 학습이 끝난 뒤에는 기본적으로 고정된 가중치로 응답한다. 이전 대화에서 알려준 사실, 어제 정한 약속, 조금 전에 읽은 문서 같은 것은 가중치 안에 들어 있지 않다. 모델이 이런 정보를 응답에 반영하려면 그 순간의 입력, 즉 컨텍스트에 함께 전달해야 한다. 그래서 AI에게 기억이란 인간의 회상과 전혀 다른 설계 문제다. 무엇을 가중치에 학습시키고, 무엇을 그때그때 입력으로 주며, 무엇을 외부에 두고 찾아오게 할 것인가.

이 문제는 실용적인 이유에서 중요하다. 모델의 세계 지식은 학습 시점에 고정되므로 새로운 사실을 반영하려면 다시 학습하거나 별도의 통로가 필요하다. 또한 모델이 어디에서 가져온 근거로 답했는지 출처를 대는 일, 지식이 바뀌었을 때 낡은 답을 고치는 일은 가중치만으로는 풀기 어렵다. 검색 증강 생성 논문이 서두에서 바로 이 두 가지를 미해결 연구 문제로 지목했다. 출처 확인과 지식 업데이트는 기억 시스템에서도 해결해야 할 과제다.

모델 가중치와 외부 저장소

검색 증강 생성(RAG) 논문은 기억을 두 종류로 구분했다. 하나는 모델 가중치 속에 든 파라메트릭 메모리이고, 다른 하나는 Wikipedia 같은 외부 인덱스에 두고 필요할 때 꺼내 읽는 비파라메트릭 메모리다. 논문은 입력 텍스트에서 출력 텍스트를 생성하는 사전학습 seq2seq 모델을 사용한다. 외부 구절은 숫자 배열로 표현한 dense vector(밀집 벡터)의 인덱스에 저장한다. 신경망 기반 검색기인 neural retriever가 질문과 관련 있는 구절을 찾아 모델에 전달하므로 두 기억을 함께 쓸 수 있다. 이 구분은 정보를 모델 안에 학습시킬지, 외부 저장소에 보관할지 결정할 때 기준이 된다.

모델이 학습하지 않은 최신 사실을 알아야 한다면 외부 저장소에서 검색해 컨텍스트로 전달할 수 있다. 모델 가중치에 학습된 언어 능력과 추론 능력은 이 정보를 해석하는 데 쓰인다. 외부 기억을 활용하더라도 모델의 능력에 영향을 받는 것이다. 이 글에서는 모델 가중치와 외부 저장소가 서로 보완하는 관계로 해석한다.

컨텍스트가 길어진다고 다 읽는 것은 아니다

한 번에 입력할 수 있는 분량이 늘어나면서 모든 자료를 입력에 넣으면 해결될 것 같다는 기대가 생겼다. Lost in the Middle 연구는 긴 입력을 활용할 때의 한계를 살펴봤다. 다중 문서 질의응답과 키에 대응하는 값을 찾는 key-value 검색 과제에서 관련 정보의 위치만 바꿔도 성능이 크게 달라졌다. 정보가 입력의 앞이나 끝에 있을 때 성능이 가장 좋았고 중간에 있을 때는 눈에 띄게 떨어졌다. 긴 입력을 받도록 만든 모델에서도 같은 경향이 나타났다고 보고했다.

입력할 수 있는 분량이 늘어도 모델이 그 안의 정보를 골고루 활용한다고 볼 수는 없다. 중요한 사실을 긴 자료의 중간에 배치하는 설계는 위험할 수 있다. 그래서 검색으로 범위를 좁힌 뒤 핵심을 앞에 배치하거나, 입력을 나눠 여러 번 질문하는 보완이 필요해진다. 다만 이 연구는 특정 모델과 평가 설정에서 얻은 관찰이다. 모든 모델이 긴 입력을 항상 제대로 활용하지 못한다는 뜻으로 일반화해서는 안 된다.

경험을 쌓는 기억: 에이전트 메모리

대화가 길어지고 에이전트가 여러 날에 걸쳐 일하기 시작하면서 경험을 저장하고 다시 활용하는 기능이 필요해졌다. Generative Agents 연구는 경험을 자연어로 전부 기록하는 메모리 스트림, 기록에서 통찰을 얻는 성찰, 행동 계획에 필요한 기억을 불러오는 회상을 결합했다. 25개 에이전트가 사는 작은 마을 실험에서 초대가 전달되거나 약속을 잡는 사회적 행동이 나타났다고 보고했다. 저장한 기억을 다음 행동을 정하는 데 활용한 사례다.

A-MEM은 2025년 2월 arXiv에 공개된 프리프린트로, 기억 사이의 연결과 기존 기록을 갱신하는 방식을 제안한다. 개별 노트를 관련된 다른 노트와 연결하는 메모 정리법인 Zettelkasten의 원칙을 활용한다. 새 기억마다 맥락 설명과 키워드, 태그를 담은 구조화된 노트를 만들고 과거 기억과 연결한다. 새 기억을 추가하면서 기존 기억의 표현도 고치는 memory evolution을 제안한다. 이 글에서는 프리프린트에 제시된 접근을 소개하며 효과 수치는 인용하지 않는다.

실무에서 기억을 설계한다는 것

실무에서는 정보의 성격에 따라 저장·활용 방식을 선택한다. 자주 쓰고 변하지 않는 것은 모델과 프롬프트 쪽에 두고, 방대하고 자주 바뀌는 것은 외부에 두고 검색으로 가져오며, 진행 중인 맥락은 대화 안에 유지하되 길어지면 요약하거나 구조화해 다듬는다. 이 판단은 비용과도 연결된다. 검색은 인덱스 구축과 유지 비용이 들고, 긴 입력은 매 호출의 계산 비용을 키우며, 요약은 정보 손실의 위험을 안는다. 적합한 방식은 과제의 성격에 따라 달라진다.

기억을 잘 활용하려면 검색의 품질도 중요하다. 외부 기억을 둔다고 해서 모델이 저절로 진실을 말하게 되지는 않는다. 엉뚱한 문서를 가져오면 그 내용을 바탕으로 그럴듯한 오답을 만들 수 있다. 따라서 기억을 설계할 때는 검색 방식과 검색 결과의 배치·검증 방법을 함께 고려해야 한다. 이 대목은 검색 증강 생성 주제 글과 함께 읽기를 권한다.

남은 과제

아직 풀리지 않은 질문이 많다. 기억이 서로 충돌할 때 무엇을 믿을 것인가. 낡은 기억을 언제 버리고 어떻게 고칠 것인가. 기억의 출처를 응답과 함께 끝까지 추적할 수 있는가. 그리고 기억 시스템 자체를 어떻게 공정하게 평가할 것인가. 특히 마지막 질문은 어렵다. 최종 답의 품질만 보면 기억이 기여한 몫을 분리하기 힘들기 때문이다. 이 글이 다루는 범위를 넘어서는 논의도 많으므로, 이 글은 남은 과제까지만 정리하고 개별 해법의 우열은 판단하지 않는다.