RAG vs Long Context는 라우팅 문제

신념 말고 궁합

RAG는 자료가 크고, 골라서 꺼내와야 하고, 출처를 달아야 하고, 같은 걸 빠르게 여러 번 찾아봐야 할 때 좋아. long context는 다 들어가는 분량을 한꺼번에 펼쳐놓고 서로 대조해야 할 때 좋고. 서로 싸우는 사상이 아니야. 어느 길로 보낼지 정하는 도구로 봐.

실무에서는 보통 둘 다 써

RAG로 후보 파일을 추려온 다음, 그중 진짜 중요한 몇 개만 long context에 전문으로 올려. 도서관만 한 규모와 책상 위에서 하는 사고를 둘 다 갖는 거지. RAG만 쓰면 자료끼리 대조하는 걸 놓치고, long context만 쓰면 상관없는 자료에 빠져 죽어. 섞으면 각자 잘하는 걸 나눠 맡고.

일의 모양대로 보내

지금 하려는 게 찾기야, 엮기야, 감사야, 변환이야? 찾기는 retrieval. 문서 몇 개를 깊게 엮는 건 long context. 변환은 정확한 소스 파일이랑 test지 벡터 저장소 점 보기가 아니고. 일의 모양이 전략을 고르는 거야. 자존심에는 투표권이 없어.

Code

어디로 보낼지 고르는 함수·python

def choose_context_strategy(task):
    if task.corpus_tokens > task.model_window:
        return "RAG"
    if task.requires_exact_cross_reference:
        return "long_context"
    if task.needs_citations_across_many_docs:
        return "RAG_then_load_top_sources"
    if task.is_transformation_of_known_files:
        return "load_exact_files"
    return "small_context_with_pointers"

경로 선택 표·text

                       FITS IN WINDOW         BIGGER THAN WINDOW
NEEDS HOLISTIC         long_context           summarize_then_long
NEEDS SELECTIVE        load_exact_files       RAG
NEEDS CITATIONS        long_context+cite      RAG_then_load_top

신념 말고 궁합

실무에서는 보통 둘 다 써

일의 모양대로 보내

Code

External links

Exercise

Progress

댓글 0