Lost in the Middle 공개 (2023)

긴 입력의 중간에 놓인 정보를 모델은 얼마나 잘 활용할까. 2023년 7월 6일 arXiv에 공개된 연구는 정보의 위치에 따라 성능이 달라진다고 보고했다. 그 관찰을 정보 배치의 관점에서 읽는다.

고친 내용: 독자에게 보이는 문장과 용어를 다듬고 기존 근거 연결을 유지했다.

입력 용량과 정보 활용의 차이

한 번에 입력할 수 있는 분량이 늘자 모든 자료를 넣으면 검색이나 요약이 필요하지 않을 것이라는 기대가 생겼다. 입력 용량이 커지면 정보를 활용하는 능력도 나아질 것이라는 전제였다. 하지만 많은 정보를 받을 수 있다는 사실만으로 그 정보를 골고루 활용한다고 볼 수는 없다.

Lost in the Middle 공개

2023년 7월 6일, Liu 등은 arXiv에 Lost in the Middle: How Language Models Use Long Contexts를 공개했다. 다중 문서 질의응답과 주어진 키에 대응하는 값을 찾는 key-value 회상이라는 두 과제로 긴 입력에서 필요한 정보를 찾는 능력을 평가했다. 관련 정보의 위치만 바꿔도 성능이 크게 달라졌다. 앞이나 끝에 놓인 정보는 잘 활용했지만 중간에 놓이면 성능이 눈에 띄게 낮아졌다. 긴 입력을 처리하도록 설계된 모델에서도 같은 경향이 나타났다고 보고했다.

중요한 정보의 배치 문제

이 결과를 고려하면 중요한 사실을 긴 자료의 중간에 배치하는 설계는 위험할 수 있다. 검색으로 범위를 좁힌 뒤 핵심 정보를 앞에 두거나, 입력을 나누어 여러 번 질문하는 보완이 필요해진다. 검색은 입력 분량을 줄일 뿐 아니라 모델이 읽어야 할 정보를 먼저 배치하는 데에도 쓰인다고 해석할 수 있다.

관찰을 적용할 수 있는 범위

이 연구는 특정 모델과 평가 설정에서 얻은 관찰을 보고한다. 모든 모델이 긴 입력을 항상 제대로 활용하지 못한다는 주장은 아니다. 정보 배치의 위험을 설계에 반영하되 관찰한 범위를 넘어 단정해서는 안 된다. 입력 용량이 커지는 것과 정보를 잘 활용하는 것은 따로 살펴봐야 한다.

검색 결과와 입력 순서 설계하기

긴 입력을 사용할 때는 정보의 배치 순서도 설계해야 한다. 핵심을 앞에 두고 보조 정보를 뒤에 배치하며, 중간에 놓인 중요한 정보를 모델이 놓치지 않도록 나누어 질문한다. 입력이 길어질수록 핵심 정보를 앞에 배치하는 일이 중요해진다. 검색을 함께 사용한다면 검색에서 정한 우선순위가 입력의 배치에도 반영되도록 연결한다. 입력 용량이 늘어도 이런 설계는 계속 필요하다.