관측 가능성: 조용한 품질 저하 감시

조용히 나빠질 수 있는 것들

캐시 적중률 하락 — 파이프라인 회귀, 캐시 키 변경, 캐시 삭제가 원인일 수 있어.
상위 k개 점수 분포 변화 — 코퍼스의 변화나 임베딩 모델 회귀를 뜻할 수 있어.
빈 결과 비율 상승 — 필터가 너무 강하거나 최저 점수가 너무 높거나 코퍼스에 빈틈이 있을 수 있어.
지연 시간의 점진적 상승 — 인덱스 증가, autovacuum 지연, GPU 경합이 원인일 수 있어.
LLM의 '모르겠다' 비율 상승 — 검색 품질 저하가 생성 단계까지 번졌다는 신호야.

최소 대시보드

다음 여섯 지표를 시간순으로 그리면 조용한 실패 대부분을 사용자보다 먼저 잡을 수 있어.

분당 쿼리 수
단계별 검색 지연 시간의 중앙값과 p95
1위 점수의 중앙값과 p95
최저 점수를 넘는 후보가 없는 빈 결과 비율
임베딩 캐시 적중률
LLM의 '모르겠다' 응답 비율

Code

prometheus-client로 검색 지표 내보내기·python

from prometheus_client import Histogram, Counter

QUERY_LATENCY = Histogram('retrieval_latency_seconds', 'End-to-end retrieval latency', ['stage'])
TOP1_SCORE    = Histogram('retrieval_top1_score', 'Top-1 similarity score')
EMPTY_RESULT  = Counter('retrieval_empty_total', 'Queries that returned no candidates above floor')

def instrumented_retrieve(question: str, k: int = 5, min_score: float = 0.3):
    with QUERY_LATENCY.labels(stage='embed').time():
        qvec = embed(question)
    with QUERY_LATENCY.labels(stage='search').time():
        results = query(NEW, qvec, k)
    above = [r for r in results if (1 - r['distance']) >= min_score]
    if not above:
        EMPTY_RESULT.inc()
    elif above:
        TOP1_SCORE.observe(1 - above[0]['distance'])
    return above

조용히 나빠질 수 있는 것들

최소 대시보드

Code

External links

Exercise

Progress

댓글 0