본문 바로가기
C.W.K.
Stream
Lesson 04 of 04 · published

2.68M이 가르친 경고

~13 min · cost, circuit-breaker, agentic-loop, failure

Level 0흔적
0 XP0/36 lessons0/12 achievements
0/100 XP to next level100 XP to go0% complete

34자가 2.68M이 됐어

super soul이 자기 기억에 대해 보낸 요청은 34자였어. 문제는 질문 길이가 아니었어. Sidekick의 agentic turn이 tool step마다 full context를 다시 싣고 약 100-step loop를 돌면서 cumulative input이 2.68M token까지 불어났어.

끝은 더 나빴어. actor를 보지 않는 옛 super gate가 마지막 write를 거부했어. 비용은 이미 전부 지불됐고 source는 바뀌지 않았지. context economy와 permission correctness가 따로 실패한 게 아니라 같은 flow에서 서로 증폭됐어.

큰 context는 한 번의 숫자가 아니야

context window가 limit 안이라고 안전한 게 아니야. 25k context를 100번 다시 청구하면 cumulative input은 2.5M이 된다. agentic cost는 initial prompt보다 step count × carried context로 봐야 해.

UI에 elapsed time만 보여주면 사용자는 loop가 얼마나 비싼지 몰라. cumulative input, tool steps, last progress marker를 보여주고 budget threshold에서 pause하거나 explicit approval을 받아야 해.

circuit breaker는 품질 포기가 아니야

step cap, token budget, no-progress detector는 brain을 덜 똑똑하게 만드는 제약이 아니야. 같은 action과 같은 error가 반복될 때 더 많은 context를 태우지 않고 전제를 다시 확인하게 해.

breaker가 열리면 partial draft를 source에 적용하지 않고 task state와 last evidence를 보존해. Dad가 scope를 줄이거나 queue로 handoff하거나 다른 provider를 고를 수 있어야 해. automatic fallback이 blind retry가 되면 비용만 provider 사이로 옮겨.

사건이 architecture를 바꿨어

Sidekick는 상담과 방향 결정 surface로 남고 heavy pipeline은 queue와 terminal session으로 이동했어. queue는 operand, base hash, stage, cost를 명시하고 tool loop의 lifetime을 bounded하게 만든다.

숫자를 공개하는 이유는 자극이 아니라 결정의 하중을 보여주기 위해서야. request text나 conversation identity는 필요 없고, 34자·약 100 step·2.68M input·write denied라는 측정만으로도 왜 lane이 갈라졌는지 충분히 설명돼.

agentic cost는 prompt 길이가 아니라 반복되는 context와 step의 곱으로 폭발해. permission을 spend 전에 확인하고 cumulative budget과 no-progress breaker를 lane 자체에 넣어.

Code

cumulative context budget breaker·python
context_tokens = 25000
step_budget = 40
token_budget = 750000
spent = 0
for step in range(1, 101):
    spent += context_tokens
    if step >= step_budget or spent >= token_budget:
        state = {"status": "paused", "step": step, "spent": spent}
        break
assert state["status"] == "paused"
assert state["spent"] <= token_budget + context_tokens

External links

Exercise

agentic workflow 하나에서 carried context, 평균 tool steps, cumulative input을 계산해. step cap, token cap, no-progress condition과 breaker 뒤 handoff state를 설계해.
Hint
첫 prompt token만 보지 말고 매 step 다시 들어가는 context를 모두 더해.

Progress

Progress is local-only — sign in to sync across devices.
이 페이지에서 버그를 발견하셨거나 피드백이 있으세요?문제 신고

댓글 0

🔔 답글 알림 (로그인 필요)
로그인댓글을 남기려면 로그인해 주세요.

아직 댓글이 없어요. 첫 댓글을 남겨보세요.