AI 기억의 발전: Transformer에서 에이전트 메모리까지

2017년 Transformer, 2020년 RAG, 2023년 긴 입력과 에이전트 기억 연구, 2025년 A-MEM을 통해 AI가 정보를 저장하고 활용하는 방식의 변화를 살펴본다.

고친 내용: 독자에게 보이는 문장과 용어를 다듬고 기존 근거 연결을 유지했다.

2017년: Transformer의 등장

2017년 6월 arXiv에 공개된 Attention Is All You Need는 순환과 합성곱 없이 attention만으로 이루어진 Transformer를 제안했다. 두 기계 번역 과제에서 품질과 학습 효율을 함께 개선했다고 보고했다. 초록에 나온 영독 번역 28.4 BLEU, 영불 번역 41.8 BLEU는 당시 실험 설정에서 얻은 수치다. 이 글에서는 Transformer의 구조를 이후 컨텍스트와 기억 논의를 이해하기 위한 배경으로 다룬다.

기억의 관점에서는 Transformer의 구조를 살펴볼 필요가 있다. self-attention은 입력의 각 위치에서 다른 위치의 정보를 참고하는 연산이다. 이 글에서는 모델이 한 번에 참고하는 입력을 작업 기억에 비유한다. 이후 연구에서는 이 입력 범위를 넓히거나 외부 기억으로 보완하고, 실제로 정보를 얼마나 잘 활용하는지 평가했다.

2020년: 외부 저장소를 활용한 RAG

2020년 5월의 RAG 논문은 가중치 속 파라메트릭 메모리와 Wikipedia 인덱스에 둔 비파라메트릭 메모리를 구분했다. 신경망으로 질문과 관련 있는 구절을 찾는 검색기인 neural retriever가 두 기억을 연결한다. 논문 초록은 주제 범위를 제한하지 않은 질의응답(open-domain QA) 과제 세 개에서 당시 최고 성능을 보고했다. 모델 가중치에 담긴 지식과 외부에서 검색한 정보를 함께 활용한 결과다.

RAG 논문이 지적한 미해결 문제는 판단의 근거를 제시하는 일과 지식을 갱신하는 일이었다. 둘 다 가중치만으로는 풀기 어려웠다. 외부 기억을 활용하면 검색된 문서를 근거로 삼고 인덱스를 교체해 지식을 갱신할 수 있다. 다만 검색 실패와 운영 비용도 고려해야 한다.

2023년: 긴 입력의 활용 한계

한 번에 입력할 수 있는 분량이 늘어나면 자료를 모두 넣는 것만으로 충분할지 궁금해진다. 2023년 7월 공개된 Lost in the Middle은 긴 입력을 활용할 때의 한계를 실험으로 살펴봤다. 다중 문서 질의응답과 키에 대응하는 값을 찾는 key-value 검색 과제에서 관련 정보의 위치만 바꿔도 성능이 크게 달라졌다. 정보가 입력의 앞이나 끝에 있을 때 성능이 좋고 중간에 있을 때 떨어지는 경향은 긴 입력용 모델에서도 나타났다.

입력 분량을 늘리는 것과 정보 활용을 개선하는 것은 같은 일이 아니다. 이 연구를 참고하면 중요한 정보를 어디에 배치할지, 질문을 어떻게 나눌지, 검색과 긴 입력을 어떻게 함께 활용할지 검토할 수 있다. 같은 해 4월에 먼저 공개된 Generative Agents와는 인과관계가 있다고 보지 않고 서로 다른 연구 접근으로 소개한다.

2023년과 2025년: 경험을 쌓는 기억

같은 해 4월에는 에이전트의 경험 기억을 다룬 연구가 나왔다. Generative Agents는 경험을 자연어로 전부 기록하는 메모리 스트림과 이를 성찰로 종합하는 과정, 행동 계획 시점에 동적으로 꺼내는 회상을 엮었다. 25개 에이전트의 마을에서 사회적 행동이 나타났다고 보고되었다. 저장한 기억을 행동 결정에 활용한 사례다. 다만 행동이 얼마나 자연스러운지에 대한 평가는 설계된 환경 안의 결과이며, 인간 사회의 재현으로 읽어서는 안 된다.

2025년 2월의 A-MEM 프리프린트는 기억을 연결하고 갱신하는 방식을 제안했다. 개별 노트를 관련된 다른 노트와 연결하는 메모 정리법인 Zettelkasten의 원칙을 활용해, 구조화된 노트와 동적 연결로 지식 네트워크를 만든다. 새 기억을 추가하면서 기존 기억도 갱신하는 memory evolution을 제안했다. 이 글에서는 프리프린트에 제시된 접근을 소개하며 효과 수치는 인용하지 않는다.

서로 다른 기억 활용 방식

2017년부터 2025년까지 살펴본 연구들은 서로 다른 방식으로 정보를 활용한다. 모델 가중치에 학습한 지식, 외부 인덱스에서 검색한 문서, 긴 입력, 경험 기록과 그 연결을 함께 사용할 수 있다. 긴 입력의 위치 편향처럼 각 방식의 한계도 고려해야 한다.

출처 확인, 지식 갱신, 기억 시스템 자체의 평가는 여전히 남은 과제다. 여러 기억을 함께 쓰면 어떤 정보를 신뢰할지, 내용이 충돌할 때 무엇을 우선할지도 정해야 한다. 이 글에서는 특정 해법을 제시하기보다 이런 과제를 정리한다.

되풀이되는 질문

기억 시스템을 설계할 때는 무엇을 어디에 저장할지와 변경 사항을 어떻게 반영할지 정하고, 기억이 얼마나 도움이 되는지 평가해야 한다. 2020년의 RAG는 외부 인덱스를 활용하고 이를 교체해 지식을 갱신하는 방법을 제시했다. 2023년의 긴 입력 연구를 참고하면 검색한 정보를 어디에 배치할지도 검토할 필요가 있다.

2023년과 2025년의 경험 기억 연구에서는 기억이 행동에 어떻게 기여하는지 살펴볼 수 있다. 기억 자체의 평가도 필요하다. 최종 답이 좋아졌을 때 기억 덕분인지 모델 덕분인지 구분하는 일은 여전히 어렵다. 새 구조를 사용해도 저장·갱신·평가의 문제를 함께 검토해야 한다.

여러 방식을 함께 사용할 때

기억 시스템을 설계할 때는 여러 방식을 함께 사용할 수 있다. 자주 쓰고 변하지 않는 정보는 모델과 프롬프트에 두고, 방대하고 자주 바뀌는 정보는 외부에 저장해 검색한다. 진행 중인 대화는 컨텍스트에 유지하되 길어지면 요약한다. 이때 각 방식의 비용도 함께 비교해야 한다. 검색에는 운영비가, 긴 입력에는 계산비가, 요약에는 정보 손실의 위험이 따른다.