Lost in the Middle 공개 (2023)

2023년 7월 6일 arXiv에 공개된 긴 컨텍스트 활용 연구의 기록. 관련 정보의 위치에 따라 성능이 달라지는 관찰과 그 함의를 다룬다.

고친 내용: 초판

낙관의 시절

한 번에 입력할 수 있는 분량이 크게 늘어나자 낙관이 퍼졌다. 모든 자료를 입력에 넣으면 검색도 요약도 필요 없어진다는 것이다. 입력 칸의 확장이 곧 정보 활용의 개선이라는 암묵의 전제가 깔려 있었다. 그러나 칸이 넓어졌다는 것과 그 안을 골고루 잘 쓴다는 것은 다른 이야기다.

사건: 연구의 공개

2023년 7월 6일, Liu 등은 arXiv에 Lost in the Middle: How Language Models Use Long Contexts를 공개했다. 긴 입력 속에서 관련 정보를 찾는 두 태스크, 다중 문서 질의응답과 key-value 회상으로 평가했다. 관련 정보의 위치만 바꿔도 성능이 크게 달라졌고, 앞과 끝에서는 잘 읽고 중간에서는 눈에 띄게 못 읽는 경향이 관찰되었다. 명시적으로 긴 입력을 받도록 만든 모델에서도 같은 경향이 나타났다고 보고되었다.

실무의 함의

이 발견의 함의는 분명하다. 중요한 사실을 긴 자료의 한가운데에 묻어두는 설계는 위험할 수 있다. 검색으로 범위를 좁힌 뒤 핵심을 앞으로 내미거나, 구조를 나눠 여러 번 묻는 보완이 필요해진다. 검색의 역할은 분량을 줄이는 일을 넘어 읽어야 할 것을 앞으로 내미는 일이라는 해석이 가능하다.

해석의 주의

이 연구는 특정 모델과 특정 평가 설정에서의 관찰이다. 모든 긴 입력이 항상 못 쓰인다는 일반화는 이 출처의 주장이 아니다. 이 기록은 경고 자체를 설계의 재료로 삼되, 경고의 범위를 벗어난 단정은 하지 않는다. 입력 칸의 확장과 정보 활용의 개선은 서로 다른 축이라는 것이 이 기록의 요지다.

실무의 시사점

긴 입력을 쓸 때는 배치의 순서를 설계의 변수로 둔다. 핵심을 앞에 두고 보조를 뒤에 두며, 중간에 묻히는 대목이 없도록 나눠 묻는다. 입력이 길어질수록 앞에 두는 일의 가치가 커진다. 검색과 함께 쓸 때는 추린 순서가 곧 배치의 순서가 되게 잇는다. 칸이 넓어졌다고 설계를 멈추는 일이 없도록 하는 것이 이 기록의 교훈이다.