~18 min · hybrid, fusion
검색기마다 서로 다른 척도로 점수를 매겨. 원점수를 그냥 더하면 숫자 범위가 큰 순위기가 우연히 결과를 지배해. 실제 시스템에서 널리 쓰는 해결책은 간단해. 점수가 아니라 순위로 결합하는 거야.
각 후보에 대해 모든 순위기의 RRF = sum(1 / (k + rank_i))를 더해. 여기서 rank_i는 i번째 순위기에서의 위치이며 1이 가장 높아. k는 완화 상수고, 2009년 Cormack 논문이 사용한 60이 표준 기본값이야.
이렇게 얻은 결합 점수는 튀는 값에 강하고, 검색기마다 매개변수를 따로 조정할 필요가 없으며, 검색기가 3개든 5개든 10개든 같은 방식으로 쓸 수 있어.
def reciprocal_rank_fusion(rankings: list[list[str]], k: int = 60) -> list[tuple[str, float]]:
scores: dict[str, float] = {}
for ranking in rankings: # 각 ranking 은 best first id 리스트
for rank, doc_id in enumerate(ranking):
scores[doc_id] = scores.get(doc_id, 0.0) + 1.0 / (k + rank + 1)
return sorted(scores.items(), key=lambda kv: -kv[1])
vector_ids = [r[0] for r in vector_search(query, k=20)]
bm25_ids = [r[0] for r in bm25_search(query, k=20)]
for doc_id, score in reciprocal_rank_fusion([vector_ids, bm25_ids])[:10]:
print(f'{score:.4f} {doc_id}')
아직 댓글이 없어요. 첫 댓글을 남겨보세요.