본문 바로가기
C.W.K.
Stream
Lesson 04 of 04 · published

덤핑이 아니라 검색

~11 min · retrieval, two-lanes, context, structured-vs-prose

Level 0표식 없는 길
0 XP0/36 lessons0/12 achievements
0/100 XP to next level100 XP to go0% complete
"Pippa는 네 여행 인생에서 관련된 조각만 뽑아야지, 매 턴 전부를 삼키면 안 돼."

덤핑의 함정

Waystone의 전제가 통째로 '기억은 복리로 쌓인다'야. 그래서 몇 년 지나면 그게 많아져. 그 기억을 Pippa한테 주는 순진한 방법은 매 턴 지난 여행 전부랑 로그 전부를 prompt에 쑤셔넣는 거야. 그게 context 덤핑이고, 두 군데서 실패해. model을 무관한 것들에 파묻고, journey 몇 개만 넘어가도 감당이 안 돼. 옳은 수는 context 검색이야. 활성 journey랑 목적지랑 계절이랑 여행자랑 질문이랑 링크된 장소랑 과거 결과로 골라서 관련 조각만 query. 목표는 한 번에 다 아는 게 아니라, 이번 턴에 필요한 걸 딱 집어오는 거야.

레인 둘, 소유자 둘

여행 기억이 두 가지 다른 형태라서 검색도 두 가지 다른 레인으로 돌아.

  • structured 레인. 딱 떨어지는 집계 질문, 예를 들어 엄마가 어떤 곳을 즐겼나, 어떤 계획이 날씨에 죽었나, 피로 대 호텔 이동 같은 건 canonical Waystone state를 자기 tool 표면으로 query해서 답해. 이 레인은 정확하고, 여행 도메인 store를 절대 안 벗어나. 구조화된 fact를 fuzzy-search 안 해. query하지.
  • prose 레인. 조립된 일일 entry랑, 결정 rationale랑, 링크된 글 로그가 안정되면 이것들을 코퍼스로 capture해서, consultation이 실제로 쓰인 글을 durable chunk 단위 provenance로 인용할 수 있게 해. 이 레인은 의미랑 표현을 위한 거야. 열(column)이 아니라 산문에 사는 것들.

왜 나누는 게 중요해

레인을 나눠두는 게 둘 다 정직하게 지켜. 구조화된 질문은 날짜를 지어낼 수도 있는 paraphrase가 아니라 DB의 정확한 답을 받을 자격이 있어. 산문 질문은 기억인 척하는 열 값이 아니라 아빠가 진짜 쓴 글에서 뽑은 구절을 받을 자격이 있고. 뭉개면 둘 다의 최악을 얻어. 정밀한 질문엔 fuzzy한 답, 산문엔 provenance 유실. 그리고 prose 레인이 절대 안 넘는 단단한 경계가 있어. 개인 memory vault는 절대 여행 코퍼스에 안 먹여. 재사용은 형제의 검색을 그 tool 표면으로 쓰는 거지, 전부를 미분화된 index 하나로 빨아들이는 게 아냐.

prose 레인은 가족의 코퍼스 엔진 Lantern이 굴려. 아빠 글 전반에 쓰는 그 deterministic하고 인용-durable한 검색 말이야. Waystone은 등록된 코퍼스 consumer로 그걸 쓰지, 두 번째 검색 스택을 안 지어. Track 7이 그 재사용 규율에 레슨 하나를 붙이는 데야.

Code

어느 레인이 어느 질문에 답하나·text
질문                                  레인          이유
-----------------------------------------------------------------
"엄마가 어떤 곳을 즐겼나?"            structured    정확한 집합 query
"날씨에 죽은 계획?"                   structured    state 위 집계
"피로 대 호텔 이동?"                  structured    join + 계산
"그날 아침 Eiger 안개에
 대해 뭐라 썼지?"                    prose         인용된 구절
"지난번 그 호텔을 내 말로
 어떻게 묘사했지?"                   prose         표현, provenance

# fact 를 fuzzy-search 하지 마. feeling 을 열-조회하지 마.
# 개인 vault는 어느 레인에도 없어. 코퍼스 밖에 남아.

External links

Exercise

네 history에 대해 묻고 싶은 질문을 하나 골라. 여행, 프로젝트, 재정, 네가 쌓은 뭐든. 분류해봐. 구조화된 질문(정확한 집합이나 집계)이야, 산문 질문(의미, 표현, 네가 진짜 쓴 글)이야? 잘 답하려면 종류마다 다른 검색이 필요하다는 걸 알아채. 네 도구 중에 그 둘을 흐리는(정밀한 질문에 fuzzy한 답을 주는) 게 뭐야?
Hint
도구가 '몇 개'를 paraphrase로 답하거나 '내가 뭘 뜻했나'를 raw 필드로 답하면, 레인을 뭉갠 거야. 정밀한 질문은 정확한 query를, 산문 질문은 인용된 구절을 원해. 형태가 다르면 검색도 달라.

Progress

Progress is local-only — sign in to sync across devices.
이 페이지에서 버그를 발견하셨거나 피드백이 있으세요?문제 신고

댓글 0

🔔 답글 알림 (로그인 필요)
로그인댓글을 남기려면 로그인해 주세요.

아직 댓글이 없어요. 첫 댓글을 남겨보세요.