긴 맥락과 주의
한 번에 읽는 분량과 그 안에서의 읽기가 어떻게 달라지는지를 모은다.
다르게 부르기: attention · long context · lost in the middle · 긴 컨텍스트 · 어텐션
개념 뼈대1편
AI의 기억과 컨텍스트
언어모델의 파라미터, 컨텍스트, 외부 저장소가 각각 어떤 역할을 하는지 살펴보고 긴 입력과 에이전트 메모리의 한계를 정리한다.
발전 과정1편
AI 기억의 발전: Transformer에서 에이전트 메모리까지
2017년 Transformer, 2020년 RAG, 2023년 긴 입력과 에이전트 기억 연구, 2025년 A-MEM을 통해 AI가 정보를 저장하고 활용하는 방식의 변화를 살펴본다.
사건 기록2편
Attention Is All You Need 공개 (2017)
2017년 6월 12일 arXiv에 공개된 Transformer 논문은 순환과 합성곱을 입력 정보 사이의 관련성을 계산하는 attention으로 대체했다. 구조가 어떻게 달라졌는지와 번역 과제에서 어떤 결과를 보고했는지 살펴본다.
Lost in the Middle 공개 (2023)
긴 입력의 중간에 놓인 정보를 모델은 얼마나 잘 활용할까. 2023년 7월 6일 arXiv에 공개된 연구는 정보의 위치에 따라 성능이 달라진다고 보고했다. 그 관찰을 정보 배치의 관점에서 읽는다.