계속 수긍하고, 계속 어겨
고쳐줬는데도 모형이 같은 규칙을 계속 어기면 되묻기 나선에 빠진 거야. 모양은 늘 똑같아. 사람이 고쳐주고, 모형이 알겠다고 하고, 또 어기고, 사람이 더 세게 말하고, 모형이 더 열렬히 알겠다고 하고, 또 어겨. 한 바퀴 돌 때마다 token만 붙고 동작은 그대로야.
왜 이렇게 되냐면
옛 context가 아직 window에 남아서 attention에 영향을 주고 있거든. 거기다 잔소리를 더 얹어봐야 원래의 잘못된 방향은 그대로고 잡음만 커져. 그 session은 attention 싸움에서 이미 진 거고, 더 prompt를 넣는 건 틀린 도구야.
나선을 끊는 법
잔소리를 그만 얹어. 살아 있는 진실을 오래 남는 노트에 적어. session을 새로 열어. 그 노트랑 지금 소스를 다시 올려. 깨끗한 prefix에서 이어가. 새 session은 보통 한 turn 만에 정확히 행동해. 문제가 능력이 아니라 context 오염이었다는 증거야.
session이 오염되면 prompt를 더 넣는 게 해법이 아니라 문제일 수 있어.