Position Bias 대처 전술

"앞에 둬"에서 한 발 더

자리에 따라 달라진다는 걸 인정하고 나면 그걸 상대로 싸울 수 있어. 기본 전술은 이래. 권한이 걸린 건 양 끝에 놓는다. 정말 중요한 규칙이면 앞뒤로 한 번씩 두 번 적는다. 눈에 띄는 구분자로 구획을 나눠서 모형이 길을 다시 찾게 한다. 서로 관련된 사실은 멀리 흩어놓지 않는다.

중복이 맞을 때도 있어

엔지니어는 같은 걸 두 번 적는 걸 싫어하지. 근데 문장 하나가 일 전체를 좌우할 때는 얘기가 달라('do not push without confirmation' 같은 거). 긴 context 맨 끝에 한 번 더 적어두면 자리 때문에 잃었던 걸 거의 되찾아. token 값은 얼마 안 들고, 말 듣는 정도는 확실히 달라져.

구획 표시

눈에 띄는 표시를 써 — XML tag, 대문자 제목, --- 구분선 같은 거. 그래야 긴 input 한가운데서도 모형이 규칙 구획을 다시 찾아가. 모형은 attention을 돌리는 동안 이런 표시를 구조를 잡는 닻으로 써먹거든.