추론 경로 하나도 틀릴 수 있어
CoT 하나를 뽑아 그대로 믿는다면 확률적 과정에서 나온 표본 하나에 답 전체를 거는 셈이야. 개선하는 길은 두 가지야. 여러 경로를 뽑아 합의된 답을 택하는 자기 일관성, 또는 추론을 나무처럼 갈라 점수가 낮은 가지를 치는 Tree-of-Thought가 있어.
자기 일관성
온도를 0보다 높게 두고 추론 경로 N개를 만든 뒤 가장 자주 나온 최종 답을 택해. 수학이나 분류처럼 가능한 답의 범위가 작은 작업에서 정확도가 실제로 오르는 경우가 많아.
Tree-of-Thought
추론의 각 단계에서 후보를 여러 개 만들고 점수를 매겨 가지를 쳐. 자기 일관성보다 비싸지만 중간에 되돌아가 다른 길을 택할 수 있어 더 유연해. 계획, 다단계 검색, 복잡한 에이전트 반복에 잘 맞아.
정확도만큼 비용도 곱해져
N=5인 자기 일관성은 호출 비용도 다섯 배야. Tree-of-Thought는 더 비싸고. 추가 정확도가 그 값을 치르는 작업에만 써. 보통 대화형 채팅보다 한 번의 실수가 큰 고위험 단발 작업에 맞아.