Lost in the Middle

총 길이보다 position이 더 중요

2023년 Liu et al. Lost in the Middle: How Language Models Use Long Contexts 논문이 disturbing한 걸 보여줬어 — 관련 정보가 long context 가운데 있으면 모형 정확도가 sharp하게 떨어진다. 성능은 U자 모양 — 시작 best, 끝 second-best, 가운데 worst. 모형 family 전반과 수년간의 capability 발전에 걸쳐 effect 지속.

강의 비유

90분 강의 상상해. 시작 기억나, 마무리 기억나, 47분쯤? 거의 안개. 모형도 똑같이 한다. naive stuffing 위험: 맞는 사실 포함하고도 모형이 가장 못 쓸 위치에 둘 수 있어.

실전 함의

중요한 instruction은 prompt 시작 *또는* 끝에. task를 context에 sandwich, 중간에 묻지 마. RAG retrieval order가 중요 — 가장 관련 chunk를 1, 2 위치와 N-1, N 위치에 — 가운데 X. 100K-token blob 가운데 데이터 박아놓고 '데이터 줬으니 알겠지' 믿지 마.

사실이 task 결정한다면, 거대한 prompt 가운데 묻지 마. 모형이 거기서 그걸 쓸 통계적 가능성이 가장 낮다.

Code

position-aware ordering·yaml

context_order:
  front:
    - live rules
    - source of truth
    - task objective
  middle:
    - supporting references
    - optional detail
  tail:
    - latest human decision
    - latest tool result
    - next action

빠른 A/B 테스트·python

def test_lim(model, fact, distractor_blob):
    # A: fact at start
    a = model.ask(f"FACT: {fact}\n\n{distractor_blob}\n\nWhat was the fact?")
    # B: fact in middle
    mid = len(distractor_blob) // 2
    b = model.ask(f"{distractor_blob[:mid]}\nFACT: {fact}\n{distractor_blob[mid:]}\n\nWhat was the fact?")
    return {"start": a, "middle": b}
# 차이가 놀랄 거야.

총 길이보다 position이 더 중요

강의 비유

실전 함의

Code

External links

Exercise

Progress

댓글 0