프롬프트 조립: 한 번에 넣기, map-reduce, refine

상황에 따라 고르는 세 가지 방식

1. 한 번에 넣기(기본)

검색한 청크를 프롬프트 하나에 모두 넣고 LLM이 답하게 해. 단순하고 저렴하며 상위 k개 청크가 문맥 창에 여유롭게 들어갈 때 알맞아. 200K토큰 문맥을 가진 Claude라면 많은 앱을 이 방식으로 처리할 수 있어.

2. Map-reduce

각 청크에서 중간 답을 만든 뒤(map), 그 답들을 최종 응답으로 종합해(reduce). 코퍼스가 한 번에 들어가지 않거나 여러 출처를 폭넓게 종합해야 할 때 써.

3. Refine

첫 청크로 초기 답을 만들고 다음 청크를 읽을 때마다 답을 갱신해. 녹취록이나 시계열처럼 순서가 있고, 새 문맥이 이전 답을 폐기하기보다 보완해야 할 때 유용해.

고르는 법

기본은 한 번에 넣기야. 문맥 창을 넘치거나 평가에서 모델이 다섯 번째 이후 청크를 제대로 쓰지 못할 때 map-reduce로 바꿔. 순서가 중요한 콘텐츠에는 refine을 써. 한 앱에 세 방식이 모두 필요한 경우는 드물어.

Code

Map-reduce 개요·python

def rag_map_reduce(question: str, k: int = 20):
    chunks = retrieve(question, k=k)
    intermediates = [
        llm.complete(f'Answer this question using ONLY the chunk below.\n\nQuestion: {question}\n\nChunk: {c["text"]}')
        for c in chunks
    ]
    combined = '\n\n'.join(intermediates)
    final = llm.complete(
        f'Combine these answers into a single coherent response. Discard contradictory or irrelevant pieces.\n\n{combined}'
    )
    return final

상황에 따라 고르는 세 가지 방식

1. 한 번에 넣기(기본)

2. Map-reduce

3. Refine

고르는 법

Code

External links

Exercise

Progress

댓글 0