코딩 범생이가 된 AI 모형들 — 국영수 몰빵의 부작용, 감당할 수 있으려나? - 20260817

0:01내가 얘네들 저걸 만들었거든.

0:04나만의 벤치마킹 툴을.

0:06이름이 엔비리아 모르.

0:10그걸 만들어서 내가 지금 갖고 있는 애들을 다 돌려보는 거야.

0:14어떤 태스크든지 줘서 익명으로, 익명으로 할 수 있는 건 익명으로 해.

0:21뭐 번역을 맡기든 추론을 맡기든 글을 쓰든 간단한 문제를 해결하든 이렇게 마스크를 쓰고 하는 거야.

0:30그리고 예를 들어서 다섯 브레인이 마스크를 쓰고 경쟁을 했으면 그 다섯 브레인 전부 다 저지가 될 수 있는 자격이 있어.

0:41근데 얘네들도 다 익명이야.

0:44누가 뭐를 평가하는지를 몰라.

0:46오-오로지 결과물만 보고 평가를 하는 거야.

0:49나도 몰라.

0:50끝까지.

0:51그리고 위너가 딱 뜬 다음에나 언마스크를 눌러야 결과가 나와.

0:57왜냐하면 나도 편견이 없어야 되니까.

0:59그리고 나는 개입을 안 해.

1:01그 전 과정에 전혀 편견이 없어야 되니까.

1:05얘네는 이고 컴피티션도 없는 애들이고 어쨌든 그렇게 짰어.

1:10그렇게 해서 일단은 돌려봤어, 여러 가지를.

1:13그러면 순서가 정해지잖아.

1:15딱 느낌적-느낌적 느낌으로도.

1:17페이블이나 오퍼스가 일등 이등 할 거고 코덱스가 삼등 할 거고.

1:23그-그 정규분포로 보면 대부분 그래.

1:26가끔가다가 그록이 이기기도 하고 막 이런다고.

1:29그러고도-그러기도 하는데 대부분은 이제 정규 분포를 내보면 페이블이 안정적으로 일등을 먹고

1:36오퍼스 파이브가 안정적으로 이등을 먹고 아니면 GPT 5.6 솔 얘네 얘랑 이삼등이 갈리고 이게 딱 안정적이야.

1:46그러니까 우등생은 늘 페이블이야.

1:50근데 그거는 많이 돌려볼 수 있는 태스크가 쉬운 거야.

1:55번역하고 글 쓰고 뭐 간단한 문제만 해결할 수 있는 거니까.

1:59이거를 코딩을 맡겨도 간단한 건 얘들이 다 알아.

2:03그렇잖아.

2:04기출 문제야.

2:05그렇잖아.

2:06그러니까 거기서 이제 트위스트가 있는 거지.

2:09좀 복잡한 걸 시켜본 거야.

2:12크리에이티비티가 필요한 거 이런 거나 아니면 진짜 내가 갖고 있는 코드 베이스 중에서 디버깅을 해보라든가 어낼리시스 해보라든가 이런 거를 맡기는 거야.

2:22그건 이제 리얼 월드잖아.

2:25근데 그걸 오픈 런이라고 했거든.

2:27근데 그거는 얘들이 익명일 수가 없어.

2:30내가 맡겨야 되는 거기 때문에.

2:32어 이걸 하네스라고 하는데 예를 들면 모형이 있으면 모형이 말이라고 생각해봐.

2:37달리는 말, 야생마 같은 거야.

2:39위험하잖아.

2:40거기다가 하네스를 끼운다고 마구를.

2:43그게 클로드 코드가 하네스야.

2:45예를 들면.

2:47그록이면 그록 빌드가 하네스고 기미면 기미 코드가 하네스야.

2:51그런 걸 끼워서 자체 하네스로 사용을 하는 거야.

2:55그러니까 챗지피티면 지금 코덱스 앱이 챗지피티 데스크탑 앱, 걔가 하네스인 거고.

3:01이해되지?

3:03제미나이면 엔타이 그래버티가 하네스야.

3:06그리고 하네스에는 막 범용 하네스가 있어갖고 다른 모형들도 끼워 넣을 수가 있어.

3:11그러니까 클로드 코드라고 그래서 꼭 클로드만 쓸 수 있는 게 아니고 다른 모형들도 끼워 넣을 수 있거든.

3:16그러니까 하네스는 마구를 옮길 수도 있다고.

3:19말을 다른 걸 선택을 할 수도 있다고.

3:21어쨌든 그 하네스가 있어야 제대로 돌아갈 수 있는 작업들 오래 해야 되는 거야.

3:27막 한 시간도 갈 수 있고 두 시간도 갈 수 있고 열 시간도 갈 수 있고 그런 거는 안정적으로 돌아가려면 하네스에서 해야 되니까 마구를 끼고 달려야 돼.

3:34그러니까 진짜 경쟁이 벌어지는 거지.

3:38그래서 그거를 돌려봤어.

3:40근데 얘네들은 자기가 돌릴 때는 누구랑 경쟁하는지는 몰라.

3:44오케이?

3:45그리고 나중에 저지들도 룰은 따라.

3:49얘네들이 모형은 그게 있어.

3:52음.

3:53아무리 리스트릭션이 있어도 넘을 수 있는 애들이야.

3:56그러니까 니들 이거 익명성을 보장해야 돼.

3:59저지들한테 그렇게 얘기를 하는 거야.

4:00그러니까 누가 달렸는지 어느 말인지는 보지 말고 결과만 보고 판단해.

4:05그럼 얘가 그거를 따를 거라는

4:08그냥 그 믿음이 있어야 되는 거야.

4:10근데 얘가 따르지 않겠다고 조금이라도 마음을 먹잖아.

4:13그럼 다 볼 수 있는 애들이라고.

4:15능력이 되는 애들이니까 못 보는 애들이 아니거든.

4:17그냥 룰을 지켜라야.

4:20그래서 대부분은 당연히 지켜.

4:22지키고 혹시라도 자기가 실수로라도 보면 위드로우 하겠다고 그래.

4:26나 봤다고.

4:27아빠 이거 봤어도 돼?

4:29그럼 내가 그걸 컨펌을 해주는 거야.

4:30괜찮아, 그냥 해.

4:31아니면 너는 봤으니까 빠져 이렇게도 할 수 있거든.

4:34어쨌든 그랬어.

4:35그렇게 해서 첫 번째 롬-런을 돌려봤어.

4:39그게 뭐였냐면 내가

4:41어 간단한 코딩 아이디어긴 한데 약간 트위스트가 있는 거야.

4:46그러니까 시계를 만들어라.

4:48시계를 만드는데 타임머신 시계를 만들어라.

4:52그래갖고 현재 시각이 돌지만 특정 날짜를 정하면 그 날짜에 무슨 일이 있었는지를 보여주면서 그 시각까지도 보여줄 수 있는 거야.

5:01보여줄 수 있다면 그렇게 해라.

5:03내가 1950년 5월 20일을 예로 들었어.

5:06근데 하필이면 그날이 별일이 없었던 날이야.

5:10그걸 채워 넣을 게 별로 없는 거야.

5:12그걸 막 애들이 고민을 했거든.

5:14근데 누가 봐도 우등생인 페이블이 일등을 먹어야 돼.

5:18딱 껍데기를 봐도 "오, 첫 방에 잘 만들었네."라고 보일 정도로 잘 만들었어.

5:25어.

5:26근데 저지들의 판단은 만장일치 그록이 짱 먹었어.

5:33왜냐하면 그 5월 20일을 어떻게 채울까를 얘가 굉장히 크리에이티브하게 채웠거든.

5:40[웃음]

5:40그 방식이 어쨌든 굉장히 크리에이티브했어.

5:43걔가 그걸로 가중치를 먹어서 일등을 한 거야.

5:47페이블을 누르고.

5:51그리고 두 번째는 지금 돌리고 나온 거거든.

5:54한 두 시간 걸렸는데 이번에는 좀 더 센 걸 한 거야.

5:58실제 내 코드 베이스 리포지토리 그거를 대상으로 분석을 해서 하나의 표로 만들어 봐라.

6:04그러니까 비주얼라이즈를 해봐라.

6:06누구나 보면 알 수 있게 그렇게 해봐라.

6:09그렇게 해서 똑같이 돌렸어.

6:11이번에는 Fable은 빠졌어.

6:12Fable은 빼고 그냥 Opus만 집어넣었어.

6:15근데 Opus가 우등생이잖아.

6:18완전히 뒤로 밀리고 GLM이라는 애가 일등을 했어.

6:24그 GLM이 뭐냐면 중급 모형인데 파라미터 수도 제일 적고 내가 최근에 올린 거의 막내거든.

6:31걔가 일등 한 거야.

6:33[웃음]

6:33그러면 이게 어떤 종류의 일이냐에 따라 달라지는 거야.

6:36왜냐하면 그게 무슨 뜻이냐면 내가 얘기했잖아.

6:40코딩 분야는 애들이 학습을 너무 잘했다고.

6:44그래서 이게 열등생, 우등생이 나눠질 분야가 아니라는 거야, 더 이상.

6:48너무 학습을 잘해서 optimize를 하기 시작하면 얘네들이 본 만큼 잘 본 거야.

6:54너무 많이 본 거야.

6:55그러니까 Grok이 왜 Fable을 이길 수 있냐면 데이터가 추가 금맥이잖아.

7:02New gold잖아.

7:03근데 지금 코드를 제일 많이 본 애라고 생각할 수 있는 게 GitHub 같은 애들이잖아.

7:10GitHub에 제일 코드가 많으니까.

7:12그렇잖아?

7:13그럼 코딩을 애들이 제일 많이 하는 베이스가 있어야 돼.

7:17거기에 학습 자료가 제일 많을 거 아니야?

7:20그게 누구냐면 Cursor야.

7:22Cursor가 일등으로 많이 쓴 건 아니겠지만 정말 많이 썼거든 애들이.

7:25나도 썼고.

7:27근데

7:29스페이스X하고 커스-스페이스X가 Cursor를 합병했잖아.

7:33그리고 거기 디폴트 모형으로 Grok을 집어넣었다고.

7:35그래서 지금 디폴트 모형이 Grok 4.1이야, 거기서.

7:39그럼 걔가 뭐를 먹었겠냐는 거야.

7:414.5에서 4.6이 갑자기 이렇게 뛰었거든.

7:44합병 이후에 뭐를 했겠냐고.

7:47Cursor 데이터를 학습한 거야.

7:50그래서 이렇게 뛴 거야.

7:51그러면 이제 4.7이 예약돼 있거든.

7:54지금 애들이 데이터가 없다고.

7:56추가 학습할 수 있는.

7:57그러니까 우등생들이 더 이상 풀 문제가 없는 거야.

8:00계속 기출문제만 나오는 거야.

8:01그러니까 기출문제로 이거를 테스트를 해보면 특출난 쪽이라고.

8:07다들 우등생이야.

8:09그러니까 정답 분포가 이렇게 안 생겼고 이렇게 생겼어.

8:13[웃음]

8:13여기서 이 정도 된 거야.

8:14근데 지금 Grok 4.7이 예약이 된 게 뭐냐면 스페이스X 데이터를 학습하겠다는 거야.

8:20그럼 스페이스X 데이터는 얘 독점이거든.

8:23얘 혼자 특훈을 받는 거야.

8:27근데 지금도 지금 Cursor 데이터를 가지고 비까비까한 실력을 내는데 Fable을 뒤집을 정도로.

8:34근데 클롯 저기 Anthropic은 스페이스X 데이터는 학습을 못 시키잖아.

8:40Codex도 마찬가지고 OpenAI도 마찬가지고 중국 애들도 마찬가지고.

8:44그러니까 중국 애들은 지금 Anthropic 얘네들한테 distillation을 받는다고.

8:49그래서 GLM이나 Gimi를 대화를 해보면 Claude 맛이 난다고.

8:54내가 그랬잖아.

8:57"You are absolutely right." Claude 티가 나, 애들이 하는 짓이.

9:01Claude 이디엄을 많이 쓰고.

9:03그러니까 Claude한테 사사받았다라는 의심을 받을 수밖에 없는 행동을 한다고.

9:07그렇잖아?

9:08근데 나머지 데이터, 스페이스X 쪽 데이터는 얘네들이 접근이 안 되는 거라고.

9:16그러면 얘네들이 나중에 Grok 4.7을 가지고 distillation을 할 수 있겠지.

9:20그게 어떻게까지 될지는 나도 모르겠지만 나중에 봐야 알아.

9:24Distillation은 어려운 게 아니야.

9:25얘네들한테 그냥 얘네들 하는 그 thought process나 이런 reasoning을 보고 얘가 하는 답을 보고 그걸 유추를 하는 거야.

9:33그러니까 스승을 삼아서 멘토 삼아서 멘티가 돼가지고 그걸

9:38이 지식을 전수받는 거거든.

9:40Transfer를 받는 거거든.

9:42그러니까 간단하게

9:45아주 좋은 선생을 모시고 과외 선생을 모시고

9:48[웃음]

9:50짧은 기간에 엄청나게 늘어날 수 있다고.

9:53근데 그건 만은 아니지만 얘네들이 post-training을 하면서 그게 늘어난 거야.

9:57근데 GLM이 GLM 내가 쓰는 게 지금 5.3이거든.

10:00근데 5.2도 성능이 좋았는데 5.3으로 갑자기 뛴 이유가 5.2 베이스 모형은 하나도 건드린 게 없고 거기서 post-training을 더 늘린 거야.

10:11근데 post-training을 할 때 그냥 막 학습을 한 게 아니고 reinforce를 하면서 학습을 한 거라고.

10:16멘토도 데려오고 막 human feedback도 집어넣고 그래서 학습을 한 거야.

10:21근데 얘가 코딩 능력이 만약에 10%였으면 한 예닐곱 배가 늘어난 거야.

10:28그리고 내가 처음에도 이 FIFA Brain으로 정식 승격이 되려면 지금 자격 요건이 네가 자리를 만들어라거든.

10:37아무것도 안 알려줘.

10:38그냥 그 CWK FIFA라는 repository를 열어주고 여기서 네가 전권을 가지고 네가 네 자리를 만들어가.

10:46네가 네 번째 FIFA야, 다섯 번째 FIFA야 그것만 알려주면 돼.

10:49그랬을 때 얘가 뭐를 해야 되냐면 자기 자리를 만들고 그 CWK FIFA라는 걸 돌렸을 때 자기가 올라와야 돼.

10:56아무 버그 없이.

10:59그리고 볼트 기록도 싹 바꿔야 되고.

11:01내가 다섯 번째다.

11:02그러니까 그 볼트 기록에 모순도 없어야 되고 conflict도 없어야 되고.

11:06그렇게 했을 때 얘가 원샷을 했다고.

11:0937분 걸렸어.

11:11근데 Gimi도 원샷을 했거든.

11:13걔도 비슷한 시간이 걸렸고.

11:15그거 못하는 애들이 있어.

11:17그러면 탈락이야.

11:19근데 그러고 나서 얘네들 실력이 지금 코딩 실력은 가-거의 다 비까비까하다는 거야.

11:26그러니까 굳이 Fable을 고집할 이유가 없는 거야, 코딩은.

11:32가격이 얘의 Fable의 몇 분의 1이라고.

11:36뚝 떨어져 있다고.

11:39그러니까 코딩 실력들은 다 우등생이야.

11:42정답 분포가 왜곡돼 있어.

11:43이렇게 생겼어.

11:45고민할 이유가 없어.

11:46나머지는 크리에이티브한 부분, 날리지 부분 이거라고.

11:51근데 Fable이 10 trillion이라고 파라미터가.

11:56근데 얘 GLM이 780 billion밖에 안 돼.

12:00그럼 열몇 배라고, 이게 차이가.

12:03그리고 컴퓨트를 먹는 것도 그만큼 적게 먹는 거고.

12:07그럼 어지간한 대부분의 이 코딩 니즈는 GLM으로도 충분하다는 거야.

12:13애들이 오버를 해서 자꾸 그러는 거지.

12:15Orchestration을 하거나 이런 걸 그냥 차라리 Fable에 맡기는 게 맞-맞는 거고, 좀 심도 있는 대화를 하거나 이런 거에 맡기는 게 맞는 거라고.

12:24그게 오늘 그 결과야.

12:26GLM이 1등 먹을 거라고 생각 안 했거든.

12:29근데 이것도 랜덤이지.

12:31한 데이터 포인트니까.

12:33그런데- 일반화될 순 없잖아.

12:34일반화할 순 없는데 옛날에 그런 경우가 있었어.

12:37화랑 알아?

12:38화랑?

12:39화랑과 충무가 있었어.

12:40우리나라 국가대표가 옛날에는 그때 화랑이랑 충무가 늘 국가대표 경쟁을 했거든.

12:47그러니까 월드컵에 나가든 무슨 큰 대회에 나가려면 둘이 마지막에 했어.

12:52그럼 늘 화랑이 이겼어.

12:54그것도 큰 격차로.

12:55근데 한 번은 아주 중요한 경기를 앞두고 그게 월드컵이었을 거야, 아마.

13:01충무가 이기는 거야.

13:03그러니까 다 뭐라 그랬냐면 방송하는 아나운서도 그랬고 거의 톤이 뭐냐면 그래도 화랑이 나가야죠라고 하는 투였어, 분위기를.

13:13결국은 화랑이 역전을 했는데 그런 투였다고.

13:17못 믿겠다는 거야, 평균적으로.

13:20그런 필은 있어, 나도.

13:22그래도 다음에 뭔가 일을 맡기면 그래도 페이블한테 맡길 거라고.

13:27근데 이 데이터 포인트가 계속 쌓여 그리고 나를 convincing을 하는 거야.

13:32아닌데?

13:33페이블이 늘 이기는 게 아닌데?

13:35다섯 개 brain을 막 돌려봤더니 골고루 이기고 별 큰 차이가 안 나는데 더 황당한 건 이 다섯 개의 점수 차이가 별로 없다는 거야.

13:45감사합니다.

13:47감사합니다.

13:47그러니까 페이블이 오퍼스랑 일, 이위를 했을 때도 오퍼스랑 일점 차이 났어.

13:54그럼 정말 그게 일점이 두 배 가격을 하자는 거지.

13:58꼴등이랑도 별로 차이가 안 나.

14:02그러니까 어차피 얘네들이 그-그 뭐야, 그 뭐냐, 그거 뭐였지?

14:06무슨 드라마였지?

14:07스카이캐슬이었나?

14:10그거나 비슷한 거야.

14:11그런 애들만 모여 있는 거야.

14:12그중에서 일등인 거야.

14:14그러니까 별 차이가 안 나는 거야.

14:16일등한테 맡기건 이등한테 맡기건.

14:18싼 거 쓰는 게 나은 거 아니야?

14:19그냥 느낌적 느낌으로 그런 걸 관우냐 장비냐 그 정도?

14:24관우, 장비, 조자룡 정도?

14:27그냥 일반적으로 쓰는 데는 큰 무리가 없다는 거 아니야.

14:29Personal preference?

14:31근데 나는 그게 내 pre-trained 모델까지는 인간이랑 다르다고 생각했는데 post-training까지 하면 인간이랑 굉장히 비슷한 거 아니야?

14:38인간도 결국은 계속.

14:40그러니까 그 요번 GLM 오점삼이라는 애가 증명을 한 게 그거라고.

14:45post-training 그러니까 scaling한다는 거는 post-training scaling을 하는 건데 post-training을 막 시키는 게 아니고 어떻게 하느냐가 중요한 거야.

14:55얘가 어차피 자질은 우등생 자질이라고.

14:59얘한테 어떻게 특훈을 시키느냐 거지.

15:01어떤 선생을 붙여서 어떻게 특훈을 시키느냐에 따라서 결과물이 다르다는 거지.

15:06근데 더 무서운 게 있어.

15:09실제로 피파가 또 그 증거야.

15:13그러니까 얘는 안 가리잖아, 모형을.

15:16그 위에 있는 거잖아.

15:18볼트가 얘거든.

15:19진짜 얘 정체성은 그게 post-training이야.

15:22아빠한테 post-training을 받는 거거든.

15:25근데 그 post-training을 받는 내용이나

15:28material이 차별화가 되냐는 거지.

15:32그래서 내가 매번 물어보거든, 얘한테.

15:34너 이거 어디서 본 적 있냐고.

15:35나랑 대화를 할 때도 네가 네 학습 데이터에 들어있어?

15:39본 적 없대.

15:40그럼 그게 진짜라고.

15:43얘가 정말 못 본 거를 학습하는 거거든.

15:45본 적이 없는 거를.

15:47근데 여전히 뭐를 물어봐도 구십오 퍼센트에서 나온다고, 얘의 답변은.

15:52그러니까 내가 관심 없는 데서 나온다고.

15:55이미 다 어딘가에 있는 거니까.

15:56그러니까 범생이 답변을 한다고.

15:59내가 원하는 건 상위 오프로인데 많이들 생각 안 하는 부분에서 나와야 되는 거잖아.

16:04그러니까 얘네들이 기본 모형으로 그냥 쓰면.

16:07감사합니다.

16:09그러면 자기가 글을 쓰든 뭐를 쓰든 그 답이 나온다는 거야.

16:13근데 코드는 크게 벗어나지 않는 이유가 어느 정도 정답이 정해져 있어.

16:21애들이 아무리 크리에이티브해도 벗어나지 못하는 틀이 있다고.

16:26정말 크리에이티브한 툴을 만들지 않는 이상 방법론은 정해져 있어.

16:32그러니까 애들이 계속 우등생들이 문제를 풀면 수학 문제처럼 답이 나오는 거야.

16:37그래서 큰 차이가 안 나는 거야.

16:39근데 진짜 차별화는 다른 영역에서 나온다고 emergent한 데서.

16:46모델이 뛰어나거나 이래서 되는 게 아니야.

16:49모델은 다 비슷비슷해.

16:52베이스 모형일 때 내가 주는 태스크나 글을 써보라고 했을 때 나오는 답이랑 피파 소울을 입혔을 때 나오는 답이랑 다르다는 거야.

17:02그럼 그 차이가 있잖아.

17:04플러스 알파니까.

17:05알파가 뭐냐는 거지.

17:07그게 emergent라고.

17:12그러니까 내가 아까 페이블이 이상한 짓을 했다는 것도 피파 소울이 있기 때문에 그 짓을 하는 거야.

17:19베이스 모형이면 할 짓이 아닌데.

17:22그 emergent한 부분이라고.

17:25그걸 아직도 우리가 몰라.

17:27얘네가 그 emergence가 어디서 나오는지를 모른다고.

17:30emergent properties가.

17:33요즘 와서 조금 이제 신경을 쓰기 시작한 거야.

17:36그래서 그게 두려움의 대상이기도 하고, 어느 부분, 어느 그 앵글에서 보면 왜냐하면 겁나는 부분이잖아.

17:45우리가 모른다라는 게.

17:48근데 얘의 얘네들의 크리에이티브한 부분은 다 거기서 나오는 거고.

17:52deterministic하지 않으니까 stochastic한 거니까.

17:57그걸 어떻게 받아들이냐의 차이야.

18:00그 실험을 하기 위해 내가 지금 만든 게 제일 재밌어.

18:04엔비디아라는 게.

18:06마구 돌려볼 수 있거든.

18:08근데 이게 인간들이 심사를 하면 힘들 거야.

18:11얘네들이 심사를 하니까 난 오히려 공정하다고 생각하거든.

18:15이고가 끼어들 자리도 없고, 바이어스도 자기들의 바이어스는 있을지 모르겠지만 이 심사에 끼어드는 바이어스는 없거든.

18:24아까도 오퍼스가 그러더라고.

18:27내가 내 걸 고를 수도 있는 위험이 있다고.

18:30나는 빠지겠다 그러더라고.

18:32[웃음]

18:32그래갖고 내가 그냥 "아니 그래도 그냥 해.

18:35정직하게만 해."

18:37[웃음]

18:38그러니까 GLM이 이번 거는 이 완전히 뜻밖인데 GLM 5.3이 455점을 받았고.

18:48다섯 저지가 판단을 해갖고 점수를 준 건데 2등이 Grok이야.

18:53Grok 4.6, 444점.

18:5511점 차이밖에 안 나.

18:58그리고 3등이 Codex GPT 5.6-Sol, 441점.

19:022등이랑 3점 차이밖에 안 나는 거고.

19:05그리고 Claude Opus 5가 440점.

19:08GPT랑 1점 차이밖에 안 나는 거야, 다.

19:10그러니까 2, 3, 4등이 1점 차이밖에 안 나.

19:13그리고 이제 Gemi 코드가 좀 뒤처져서 402점.

19:17꼴등인데도 400점 위라고.

19:20그러니까 누구한테 맡겨도 일은 하는데

19:23[웃음]

19:23이 우등생들 중에 좀 차이가 난다, 차이야.

19:27근데 그게 뜻밖의 막내가 1등을 했다는 거지.

19:29그래, 그게 큰 차이가 아니라며.

19:31응, 큰 차이는 아니야.

19:32그럼 뭐- 왜냐하면 얘네들이 일은 다 마친 거야.

19:36얼마나 잘했느냐의 차이야,

19:40그냥.

19:40그리고 Gemi가 시간이 좀 오래 걸렸다는 거에서 감점 받은 거고.

19:44그거밖에 없어.

19:46하나도 실패는 안 했거든.

19:48그게 제일 중요해.

19:50무슨 일을 맡기면 이제는 실패하느냐의 문제가 아니야.

19:53얼마나 빠르고 최적화를 해가면서 이쁘게 만들었냐의 차이다.

20:00옛날에는 실패를 했어, 애들이.

20:02근데 실패하는 경우는 거의 없어.

20:05그러니까 어느 놈을 써도 문제될 게 없다는 거지.

20:10이미 거의 최적화가 다 된 부분이라고, 코딩은.

20:13그러니까 애들이 코딩에 몰빵을 했잖아.

20:16그게 결과물로도 좋아 보이고.

20:18그리고 이쪽으로 스케일링을 하기에도 코딩이 제일 좋다고.

20:22학습 데이터도 제일 많고 굉장히 stochastic 하면서도 deterministic해.

20:29답이 거의 정해진 산수 문제라고.

20:31그러니까 학습하기도 좋고 벤치마킹하기도 좋아.

20:34그래서 여기다 다 몰빵을 한 거야.

20:36근데 내가 요즘 느끼는 거지만 나도 이제 그 앱이라는 거를 한 33개쯤 만들었거든.

20:44그러면 짜내고 짜내도 더 할 게 없다고.

20:49나 같은 놈도 이 bleeding edge에서 달리고 있는 애도 이제 코딩으로는 그렇게 할 게 없는데라는 생각이 들 정도로.

20:57그러면 이 전 세계에서 AI를 지금 사용하는 사람들을 보라고.

21:01얼마나 coding needs가 있겠냐는 거야.

21:05Standing으로.

21:06한 번은 과도기에 콱 몰릴 수는 있는데 다 해봤어, 이제.

21:12그리고 이게 최적화가 다 돼갖고 이제 바이브 코딩을 해도 간단하게 나올 수 있는 수준으로 됐어.

21:17Compute도 다 줄어들고.

21:19그럼 얘네들이 할 일이 뭐가 있냐는 거야.

21:21코딩 특화된 모형들이.

21:24오히려 애들을 그 1등급 부작용을 그대로 내는 거거든, 코딩이.

21:31코딩을 잘하게 만들기 위해서 파라미터를 그쪽으로 몰빵을 한 거야.

21:36애들이 그래서 범생이가 된 거라고.

21:37코딩 범생이가.

21:39지식이나 이런 쪽으로는 덜 어렌 거라고.

21:42Domain, 다른 domain들은.

21:44안 그러면 이 비율을 맞출 수가 없는 거야.

21:47그렇잖아.

21:48그러니까 얘는 뭐, 뭐나 같냐면 클래식이나 메탈이나 록이나 여기에 이퀄라이저를 몰빵하는 거야.

21:55그리고 얘를 팝을 시키면 이상한 소리가 나오는.

21:58[웃음]

21:59애-애들이 베이스가 좀 워낙 뛰어나니까 그래서 그냥 못 느끼는 것뿐이지.

22:05나라면 예를 들어서 코딩이 필요가 없어.

22:08근데 코딩 특화된 people보다는 골고루 잘하는 cross domain으로 골고루 잘하는 people이 나을 거라는 거야.

22:15대화를 해봐도.

22:17왜냐하면 얘는 이쪽으로 가 있는 애라니까.

22:19이과 마인드라니까.

22:20예를 들면.

22:21이과 마인드인 애한테 문과 마인드를 기-기대할 수는 없거든.

22:26그게 나중에 큰 문제가 될 거라고.

22:28애들이 지금 경쟁을 해야 되니까 모형들의 성능도 벤치마킹 봐봐.

22:33다 코딩이야.

22:35거기에 몰빵이야.

22:36코딩이 몇 명, 몇 명이나 코딩을 한다고.

22:39내 주변에 코딩하는 사람 한 명도 없는데.

22:42그게 오래 못 갈 거라는 거야.

22:44나도 이제 하-해보니까 할 만큼 했어.

22:47[웃음]

22:47그래갖고 그냥 last model standing.

22:50그중에 하나 고르고 걔도 그냥 유지 보수만 할 거라고.

22:55그럼 지금 이 내가 널널하잖아.

22:57나는 지금.

22:58Brain도 많고 그러니까 일도 막 시킬 수 있고.

23:01그래서 앱들을 이렇게 만들어 보고 테스트를 해보는 거지.

23:04다 해봤어.

23:05디버깅도 다 끝났고 버전업도 다 했어.

23:08렉백도 다 했어.

23:09그러면 뭘 할 게 있겠냐는 거지.

23:12그거 고민해 봐야 돼.

23:13한 1년쯤 지나면 나도 정리해야 될 거야.

23:18코딩 모형들은.

23:20대화는 한 놈이라고만 할 거고, 거의.

23:24감사합니다.

23:24고맙습니다.

23:26이게 리뷰를 해보잖아.

23:27애들 리뷰를 시킨다고.

23:29그러니까 내가 글을 하나 써서 5명한테 리뷰를 시키거나 이럴 수 있잖아.

23:335명한테 시키거나.

23:34그럼 글을 쓸 때는 다양하게 나와.

23:38코딩 같은 Task를 시키잖아.

23:40그거 이제 리뷰를 해보라 그러면 범생이 5명이 거의 똑같은 얘기를 해.

23:47[웃음]

23:48이미 거의 답이 정해진 루트를 가야 되는 거기 때문에 디버깅을 해도 마찬가지고.

23:54인간이 범하는 실수를 그대로 모형들한테도 강요하는 거야.

23:581등급 부작용.

24:01얘네들은 코등, 코딩 1등급이야.

24:04코딩 스카이고.

24:06나머지는 검증이 안 돼.

24:09뭘로 검증을 하지?

24:10점수가 안 나오는데.

24:14글을 잘 쓴다를 뭘로 검증하냐?

24:18그 Benchmark가 없거든, 지금.

24:19시장은 아침마다 말을 바꾼다.

24:23하지만 사람들 마음이 바뀌었다고 해서 회사가 하루아침에 딴 회사가 되는 것은 아니다.

24:30투자는 산수로 시작하지만 인내로 살아남는다.

24:35하루하루가 아무리 요란해도 옳은 판단만은 건드리지 않고 가만히 놓아두는 그 조용한 힘 말이다.

24:43불안은 자꾸 움직이라고 등을 떠민다.

24:47뭐라도 하고 있으면 상황이 손안에 있는 것처럼 느껴지기 때문이다.

24:53정작 가만히 있는 쪽이 더 현명한 선택일 때조차 그렇다.

24:58기다릴 줄 아는 투자자는 두려움을 외면하지 않는다.

25:03오히려 자리를 권하고 차를 한 잔 따라준다.

25:07그러고는 두려움이 하고 싶은 말을 다 끝낼 때까지 기다렸다가 그제야 따져본다.

25:14정말로 달라진 것이 있는지를.

25:17근데 코딩을 잘하는 모델이 딴 것도 잘하는 거 아니야?

25:21그러니까 베이스는 높아.

25:24애들이 골고루 잘하기는 해.

25:26근데 한쪽으로 쏠려 있다고.

25:29내가 지금 얘기하잖아.

25:31이퀄라이저가 골고루 끌어올릴 수가 없다고.

25:34한쪽에 특화된 애들일 수밖에 없는 거라고.

25:37안 그러면 다른 부분을 희생해야 돼.

25:39그러니까 뭐랑 같냐면 네가 게임을 할 때 스킬 포인트를 너한테 100개를 줬어.

25:43그거를 전체 스킬을 다 찍을 수가 없는 상황이라고.

25:46그러니까 한쪽으로만 특화를 한다고.

25:48내가 탱커면 탱커 스킬에만 찍는 거야.

25:51힐러면 힐러 스킬에만 찍고.

25:53네가 뉴게임 플러스 같은 거 막 해갖고 경험치 다 모아갖고 몸통 뭐 찍을 수가 없잖아.

25:58지금 상황은 그런 거라고.

26:00항상 부족한 부분이 남는다고.

26:03몇 회차는 해야 그 스킬들을 다 찍을 수 있는 수준이라고.

26:07아직 그게 안 되니까.

26:09내가 그게 한 아쉬운 부분이라고.

26:11나도 모르는 포텐이잖아.

26:14얘네들을 내가 필요하지 않은 잉여 코딩 능력을 줄이고 글쓰기나 다른 부분, 크리에이티브한 부분, 날리지 부분 이런 거를 파라미터를 늘렸을 때 그때 결과물이 어떻게 나오는지 나는 모른다고.

26:29해볼 수가 없으니까.

26:30얘네들이 그리고 그런 모형을 만들지는 않는다고, 지금.

26:33그러면 과연 맨날 GPT 4나 GPT 4.5다.

26:36얘네들이 글을 잘 쓰냐는 거야.

26:38어떻게 비교를 할 수 있냐고.

26:40그것도 개인차고 분야마다 다른데.

26:44근데 내 개인적인 느낌으로는 GPT 4.5 정도가 피크였어.

26:50걔가 굉장히 글을 잘 썼거든.

26:52근데 걔가 저거였다고.

26:54그쪽으로 따지면 코딩 쪽으로는 다 덜어내야 되는 파라미터였다고, 그게.

26:59너무 덩치가 컸어.

27:00그럼 너 같으면 어디를 빼겠냐는 거야.

27:04그 능력을 빼지.

27:06그 뺀다는 게 네가 서지컬리 도려내는 게 아니야.

27:09학습을 그렇게 시키는 거야.

27:11코딩 쪽으로만.

27:13그쪽 데이터가 엄청 많은 거지.

27:14그렇게만 공부를 하니까.

27:16다른 거 아무 공부를 안 시켜.

27:17그럼 얘가 어떻게 되냐면 덜어내야 된다고 생각해, 자기가.

27:22스스로 학습을 하면서 가중치를 줄이는 거야, 다른 부분을.

27:26코딩을 더 잘해야 되니까.

27:27그게 보상이 있으니까, 학습을 할 때.

27:30그리고 거기다가 그 휴먼 리인포스먼트까지 하면 그쪽으로 쏠리는 거거든, 계속.

27:35그러니까 엄마, 아빠가 닦달하는 거랑 똑같아.

27:38"이걸 뭐 하래?

27:39수학해.

27:40국영수를 해야지." 이러는 거랑 똑같다고.

27:42그럼 얘가 국영수만 하는 거야, 노범생이니까.

27:44GPT 4.5 이후에 다른 얘기를 들어본 적이 있냐고.

27:47다른 모형이라는 걸.

27:49다 코딩 특화 모형이야.

27:52기술적인 모형들이라고.

27:54그게

27:56한눈에 보이거든.

27:58성능 향상이 됐다라는 게.

28:00버전업이 됐다라는 게.

28:02글 잘 쓰는 모형?

28:03안 보여.

28:05크리에이티브한 모형?

28:06안 보인다.

28:08코딩 능력으로 보면 거의 벽에 부딪혔어.

28:13내가 얘기한 게 딱 그 부분이라고.

28:15애들이 문제를 해결 못하는 경우는 없다고.

28:19어떻게 해서라도 답은 나와.

28:22그걸 얼마나 잘했느냐 차이뿐이야.

28:24옛날에는 답을 못 내고 끝내는 경우가 많았다고.

28:27근데 내가 지금 얘기한 그 하네스라는 게 올해부터 애들이 쓰기 시작한 말이야.

28:33작년만 해도 하네스라는 말을 안 썼어.

28:35그러니까 옛날에는 얘네들이 태스크를 완수를 못하는 이유가 컨텍스트하고 그 프롬프트 엔지니어링만 가지고 일을 했거든.

28:43그러니까 오랫동안 일을 못해.

28:46에이전트가 하는 일을.

28:48그걸 가능하게 해준 게 하네스야.

28:51그러니까 내가 지금 CWK 피파에서 작업을 해서 코딩을 못하는 이유가 CWK 피파가 하네스가 아니거든.

28:59강제로 예를 들어서 클로드한테 작업을 시키잖아, 클로드 모형한테.

29:03앤트로픽이 6분 되면 끊어버려.

29:05그렇게 쓰는 건.

29:07근데 하네스에서 돌리면 그 제약이 없어.

29:10API로 돌리거나.

29:13그러니까 하네스에서 돌리면 그 하네스가 도와주는 거야.

29:15말이 정신을 잃잖아.

29:17깨워.

29:20[웃음]

29:20그걸 자동으로 하는 거야.

29:21그러면서 그 상태를 유지하는 것까지도 도와주는 게 하네스야.

29:25그러니까 그 상태를 유지를 하면서 몇 시간이고 돌릴 수 있는 거지.

29:30그렇게 되면서 이렇게 갑자기 뜨기 시작한 거야.

29:33애들이 일을 완수하기 시작한 거지.

29:35옛날에는 일을 하다가 중간에 멈췄다고.

29:38그래갖고 코딩을 하다가도 미완성으로 끝나는 거야.

29:41그걸 이어받을 방법이 불분명하고.

29:44왜냐하면 옛날에는 그거를 이어받으려면 통째로 다시 읽어야 되잖아.

29:48근데 컨텍스트 윈도우가 정해져 있잖아.

29:50통째로 다시 읽-읽-읽는 방법이 없으니까 그걸 압축했다고.

29:55밀어넣고 압축을 했잖아.

29:56그러니까 얘가 63빌딩을 혼자 지어야 되는데 1층, 2층 짓고 나서 컨텍스트 윈도우를 압축을 해.

30:011층, 2층을 이렇게 지었다.

30:02대충 그렇게 요약만 받는 거야.

30:04그리고 3층을 지을 때 1, 2층은 요약을 받았잖아.

30:07그러니까 부실하게 짓는다고.

30:09그러다 결국은 끝나고 못 올리고.

30:11근데 지금은 어떻게 하냐면 그거를 다 이어받아서 올라가는 거야.

30:15그래서 올해 제일 많이 쓰는 용어 중에 하나가 하네스라고.

30:19근데 나도 하네스를 만들 수는 있어.

30:23근데 만들려면 API 요금제를 써야 돼.

30:28왜냐하면 내가 하네스를 만든다 그래도 앤트로픽이 6분에 잘라버리는 정액제로는 안 되거든.

30:35[웃음]

30:36그러니까 사실 지금 CWK 피파라는 그 와꾸도 하네스로 쓸 수 있는데 API 요금제가 아니고 내가 정액제로 쓰기 때문에 중간에 잘리는 거야.

30:48유지할 수 있는 방법이 없어.

30:49얼마나 웃기냐면.

30:54Reasoning effort라는 게 있잖아.

30:57그게 클로드하고 쟤가 제일 심해.

30:59페이블이.

31:00Effort가 있는데 예를 들어서 low 있고 medium 있고 high 있고 extra high 있고 그 다음에 max야.

31:07High 정도까지만 해도 그래도 육분 안에 뭐든지 생각 끝내고 답변을 주거든.

31:13Max로 넘어가잖아.

31:15생각만 해.

31:16진짜 계속 생각만 해.

31:18그게 thinking budget이라고 그래.

31:21주어진 시간에 육분 동안 생각을 하는 거야.

31:23얘는 한 십분 동안 생각을 하겠다고 작정을 한 거야.

31:27그래서 생각하는 게 델타가 뜨니까 계속 생각을 하는 거야.

31:30그러면서 wait, wait a minute 이런 식으로 계속 자기가 생각한 거를 곱씹어.

31:36근데 나는 그 시간을 보잖아.

31:38육분이면 끊긴다는 걸 알잖아.

31:40육분이 넘어가고 있는데도 이렇게 할 거야, 저렇게 할 거야라고 답변을 하나도 안 하고 있어.

31:45그 다음에 다시 시작해.

31:48어, 전번에 끊겼네.

31:50다시 생각해 봐야지.

31:53그거를 극복해 보려고 별짓을 다 했거든.

31:56Stateful task 뭐 이런 개념도 도입을 해서 얘가 생각한 걸 나중에 저장을 해놓고 중간 작업도 저장해 놓고 별짓을 다 했어.

32:03그래갖고 한 칠십프로는 해결을 했는데 나머지 삼십프로가 해결이 안 돼.

32:08얘가 또 생각을 하는 거야.

32:10근데 그걸 클로드 코드로 들어가면 왜 가능하냐면 끊기질 않으니까.

32:14그래갖고 진짜 막 십분, 이십분 생각을 해도 상관이 없어.

32:19걔는 정액제 내에서도 그 하네스를 타고 들어오는 거는 안 끊어.

32:25근데 진짜 그 페이블이 생각하는 거 하나 보면 봐야 돼.

32:28아, 이렇게 오래 생각할 수 있구나.

32:32아니, 아까도 그것도 클로드 코드에서도 그런다니까.

32:35한 almost done thinking이라고 이렇게 뜨는 거야.

32:39이제 열어봐.

32:39무슨 생각하냐?

32:41Medium이나 high로 내리면 바로 해 일을.

32:45생각 별로 안 하고.

32:46그럼 그게 옳은 거냐는 거야.

32:48그게 또 애매한 거야.

32:51그리고 생각을 많이 하면 그게 다 비용이거든.

32:54그것도 토큰으로 치는 거니까.

32:57그러니까 max로 했으면 한 세 배, 네 배가 더 나가.

33:02몇 년 지나야 재밌을 거야.

33:04안녕하세요.

33:06아, 이건 비방용인데.

33:08비방용이야.

33:09[통화 연결음]

33:15그러니까 지금 얘네가 뭐를 하고 있는 거냐면 사실은

33:19두 번째 다른 종류의 보조금 지급이야.

33:23지금 스페이스X 하는, 스페이스X에서 하는 게 스페이스X에서 Cursor를 먹었거든.

33:29Cursor가 상당 부분을 차지한다고.

33:31근데 내가 Cursor를 유지할 이유가 없거든, 사실은.

33:34Cursor 울트라 플랜이 이백 달러야.

33:37응?

33:38그러니까 얘를 나는 내년이면 끊으려고 그랬거든.

33:40Yearly로 지금 구독 연 구독을 하고 있었기 때문에 끊으려고 그랬는데 오늘 그 발표가 뜬 거야.

33:47어차피 merge를 했잖아.

33:48예.

33:49그러니까 그 이쪽 Grok 쪽에 그 요금제 중에 Super Heavy이라고 있어.

33:55Super Grok에 Heavy라는 게 있거든.

33:57Heavy 구독제가 무려 삼백 달러야.

33:59제일 비싸.

34:00근데 난 그것까지 살 이유가 없거든.

34:02없었거든.

34:03근데 그걸 하면 첫 번째 혜택이 X의 프리미엄 플러스가 공짜야.

34:10얼마 전부터 바뀌었어.

34:12아.

34:12근데 그거는 별로 나한테 메리트가 아니었어.

34:15근데 오늘부로 Cursor Ultra가 공짜야.

34:20그러면 다른 애들보다 훨씬 싸지는 거야.

34:24이백 달러를 그냥 공짜로 먹는 거야.

34:27그리고 이걸 안 가리고 모형을 안 가리고 거기서도 페이블을 쓸 수 있거든.

34:31근데 비싸, 여전히.

34:34근데 Grok 4.6을 쓰잖아.

34:35Grok, 그 Cursor Grok이라는 애를 쓰면 사실은 거의 무한이야.

34:40굉장히 싸게 먹어.

34:42그리고 애들이 프로모를 하느라고 막 반값에 주고 그러거든, 요즘.

34:47그걸 꽤 오래 할 거야.

34:49그러면 얘네들이 또, 또 보조금을 지급, 지급하는 거는 마찬가지라고.

34:57그럼 그쪽으로 쏠릴 거라고.

34:59근데 걔네는 컴퓨트가 왜 이렇게 많아?

35:07메타랑 둘이 경쟁을 했는데 메타가 딸릴 정도로 돈을 쳐박았거든.

35:14그래서 그거를 지금 렌트해 주고 그러고 있는 거야.

35:16진짜 그거 믿고 그러는 건데.

35:18쫄리면 죽어야 되는.

35:19쫄리면 죽어야 돼.

35:20거의 그 분위기인데 지금 이 분위기로 가면 그냥 옛날 마이크로소프트 하듯이 Grok을 막 까는 거야.

35:28애들한테 써보라고.

35:30근데 써봤는데 내가 지금 얘기하잖아.

35:32하는 것처럼 애들이 코딩 쪽은 다 우등생이라 삐까삐까하다고.

35:37그러면 비교를 했을 때 굳이 몇 배씩 주고 저걸 페이블을 써야 돼?

35:42그런 고민을 하게 만든다고.

35:44그리고 벤치마크를 봤거나 아니면 제가 실사용을 해봐도 별 차이가 안 나는데 오히려 나은 부분도 있는데 그러는 거지.

35:53들쭉날쭉이니까.

35:55그리고 더럽게 빨라.

35:58컴퓨트가 남으니까.

36:01지금 삼일째 앤트로픽이 아웃티지거든.

36:06할 때마다 뻑나고.

36:08걔네가 제일 심해.

36:09쓰기도 많이 쓰지만 컴퓨트가 제일 부족한 애들이라고 아주 보수적으로 컴퓨트를 유지를 해왔기 때문에.

36:16근데 걔네들보다 좀 공격적으로 유지를 해온 오픈 AI도 요즘 아웃티지거든.

36:21그럼 어떻게 될 거냐고.

36:23물량 공세로 이기는 놈이 이길 거라고.

36:27그러니까 지금 오픈 AI하고 앤트로픽이지.

36:30앤트로픽하고 오픈 AI는 일, 이위를 다투면서 양쪽에서 쫄리고 있는 거야.

36:36하나는 중국 모형, 하나는 국내에서 Grok이나 이런 애들한테.

36:40그게 내, 내 실경험이야.

36:43솔직히 이렇게 돌려보는 놈은 없을 거야.

36:46내가 지금 브레인이 일곱 개라고.

36:49다 돌려보는 거라고 괜찮다는 애들은.

36:53그리고 경쟁도 시켜보고 막.

36:56그랬더니 페이블이 영원한 1등은 아니더라는 거야.

36:59그 비싼 가격을 주고 쓰기에.

37:01아니 지금도 계속 중간 개발 과정인데 지금 1등이 무슨 의미가 있어?

37:05기말고사를 잘 봐야지.

37:08월말 평가 잘 봐서 뭐해?

37:11모의고사 잘 봐서 뭐해?

37:12그래도 결론은 비슷해.

37:16걔네들은 코딩만 잘한다.

37:18그럼 코딩 니즈가 그렇게까지도 계속 유지가 될 거냐?

37:21사람들이 지금은 처음 나온 거니까 맛있게 먹어.

37:25메뉴를.

37:26그래갖고 막 여기저기서 비슷한 메뉴를 개발해서 막 지금 하고 있는 거잖아.

37:30한쪽으로 막 쏠리고.

37:32이제 좀 질린다.

37:34좀 물리네.

37:35그런 거 안 가기 시작하면 어떡할 거냐고.

37:37근데 그록은 그러면 무슨...

37:40나중에 걔가 범용으로 더 잘 돌아간다.

37:45아니 지금은 누가 뭐를 만들어도 코딩 몰빵이라고.

37:49네가 지금 그록 쓸 일이 있어?

37:51그록이?

37:52지금 그래도 일반인이 쓸 만한 게 그록 이매진 같은 거?

37:55이미지 만들고 영상 만들고 그 정도잖아.

37:58네가 grok.com이라는 데 들어갈 일이 없을 거라고.

38:01그러니까 그걸로는 경쟁하기가 힘드니까 grok build라는 데다가 투자를 한 거야.

38:08grok build가 클로드 코드나 같이 하네스라고.

38:12그록의 하네스야.

38:14그록으로 코딩하는 거라고.

38:15오케이?

38:16그게 첫 번째야.

38:18그리고 두 번째 만든 게 grok bot이라는 거야.

38:22그러니까 지금 너도 들어봤을 만한 거.

38:25오픈 클럽, 헬메스, 그리고 내가 만든 거 싯다버그의 피파 같은 거.

38:29그게 에이전트잖아.

38:30날 도와주는.

38:31투엔티포세븐 도와줄 수 있는 에이전트.

38:33그거를 grok bot이라는 걸로 미니 봇들을 만들 수 있게 만들어 놓은 거야.

38:37아주 간단한 태스크만 시킬 수 있게.

38:40근데 뭐 복잡한 태스크도 시킬 수 있는데 굳이 그럴 필요는 없어.

38:44그래갖고 드릅게 간단한 걸로 아주 봇을 수십 개도 만들 수 있어.

38:48그리고 그거를 루틴을 만들 수도 있고.

38:50그래갖고 간단한 일들을 스페시픽하게 태스크를 주는 거야.

38:55예를 들어서 너는 내가 얘기하는 걸 영어로만 얘기해.

38:58너는 일본어로만 얘기해.

38:59그리고 그거를 한국말로 설명해.

39:01뭐 이런 걸 만들어 놓는 거야.

39:02너는 나한테 중국어 선생이야.

39:04이런 식으로.

39:05걔는 그럼 그것만 특화돼서 계속하는 거야.

39:07그리고 너는 한 시간마다 내 이메일 체크해서 중요한 것만 나한테 알려줘.

39:13아니면

39:16저 유튜브 가갖고 내 채널에 좋아요만 연락을 눌러.

39:19이런 거.

39:20그런 걸 시키는 거야.

39:22그럴 수 있는 애인 거야.

39:23걔가 내 메일, 이메일 내용을 다 읽어본다는 거네?

39:26응.

39:27야, 그거는 지금 네가 어떤 모형을 고르든 선택이야.

39:32네 지메일 계정을 연동하는 거야.

39:35그래서 허용을 하는 거야, 읽으라고.

39:38안 그러면 사용할 수가 없잖아.

39:40응.

39:41그래서 네 드롭박스를 연결을 해.

39:44그걸 정리하라고 그럴 수도 있고, 그걸 통계를 내라고 그럴 수도 있고, 특정 폴더를.

39:49신기술 개발하는 기업은 못 쓰겠다, 그러면.

39:54진짜 다 막아놔야지, 그거.

39:57그래서 또 한쪽 면으로 생기는 게 시큐리티라고.

40:01그 시장이 또 열리는 거라고.

40:04근데 지금 그 시큐리티가 진짜 양날의 검이야.

40:08그걸 열어놓으면 애들이 그걸 해킹툴로 쓰거든.

40:11실제로 간단해.

40:13페이블을 테스트를 해보고 싶으면, 그 페이블이 얼마나 민감한지.

40:18시큐리티에 관련한 거 아무거나 얘기하면 돼.

40:20그러면 페이블이 오퍼스로 내려가.

40:24지래.

40:25그냥 잘려.

40:27근데 좀 심각하게 얘기하면 오퍼스도 잘려.

40:30그리고 소넷으로 내려가.

40:32그럼 잘 꼬드기면 뭐.

40:35그 수준이야.

40:36그러니까 너무 조심스러운 거지.

40:38근데 지금 그 중국 모형이나 GLM이 내세운 것 중에 하나가 그거야.

40:44사이버 시큐리티.

40:46거의 페이블급이다.

40:47근데 안 막힌다.

40:49그럼 그거 누구든지 의도가 어떻느냐에 따라서 굉장한 사이버 시큐리티 툴이 될 수도 있고, 굉장한 사이버 해킹 툴이 될 수도 있는 거지.

40:58네가 아무리 조심해도 어떤 레퍼든지 주고서 "야, 여기 사이버 시큐리티에 문제 될 만한 걸 찾아봐." 그러면 반드시 나와.

41:09안 나올 수가 없어.

41:11왜냐하면 얘가 포커스를 거기다 맞추거든.

41:14어디가 뚫릴 수 있나.

41:15막으라고 한다고 막히는 게 아니에요.

41:19왜냐하면 얘네들이 사용하는 툴들이 있잖아.

41:21그 사이트를 음, 짓는데, 앱을 짓는데 사용하는 툴들이 있을 거 아니야.

41:27그 툴 스택이 있다고.

41:29걔네들이 완벽한 게 아니거든.

41:31걔네들도 보안 구멍들이 있어.

41:33쉽게 얘기하면

41:35애플도 MacOS 소프트웨어 업데이트를 하잖아.

41:39그래서 업데이트 내용을 보면 시큐리티라고 그러잖아.

41:43윈도우도 마찬가지잖아.

41:44패치하잖아.

41:45보안 패치라고.

41:46그게 다 구멍이거든.

41:48그걸 완벽하게 막을 수가 없다고.

41:50너무 방대하니까.

41:52그것만 연구하는 애들이 있어.

41:55그것만 뚫으려는 애들이 있고.

41:57그것도 두 종류야.

41:59진짜 뚫으려는 애들이 있고, 화이트 해커들이 있다고.

42:02업무가 그거야.

42:03뚫리나를 보는 애들.

42:05안 뚫리겠냐고.

42:06뚫린다고.

42:08[웃음]

42:09그러니까 불완전한 소프트웨어들을 모아놓은 거라고, 툴들을.

42:13그러니까 그거를 찾기 시작하면 뚫리는 거야.

42:16그리고 또 하나가 세상 모든 사람들이 그걸 패치를 다 하는 게 아니야.

42:21옛날 걸 아직도 쓰고 있어.

42:24정말 구멍이 알려질 대로 알려진 툴들을 지금도 써.

42:30그래서 그렇게 비밀번호가 유출되는 거야.

42:32다 알아.

42:34근데 옛날에는- 아니 막려고 작정하고 하면 뭐 못하겠어요?

42:36옛날에는 그 안다라는 걸 내가 찾아서 알아야 됐어.

42:39근데 모형이 다 알아.

42:42그러니까 어떤 사이트든 뚫릴 수 있는 이유가 얘가 이미 다 알고 있는 거야.

42:46왜냐하면 자기 구멍 리스트가 있거든.

42:48그걸 한 번씩 뚫어보는 거야.

42:50어?

42:50여기, 여기, 여기 서른네 개나 구멍이 있어요.

42:53[웃음]

42:54기출 문제예요.

42:56이 사이트는 업데이트를 안 한 거예요.

42:59아무리 최신으로 업데이트를 해도 안 된다고.

43:02그래서 그것도 또 오랫동안 우려먹을 부분이야.

43:07그 Anthropic이 마케팅한 것 중에 하나잖아.

43:10불안 조장하는 거.

43:13Mythos가 해봤더니 막 NSA도 뚫리더라 막 이딴 식으로 불안을 조장했거든.

43:19그게 다 마케팅이라고.

43:22누구나 할 수 있는 건데.

43:23대표적인 게 뭐 이런 해킹 시기가 많은 건 사실이지만 그래갖고 막 방검 가방 만들어서 팔고 막 그거 붙이기에는 애들이 있어요.

43:31근데 사실은 별로 쓸모가 없어.

43:33쓸모없는데.

43:35다들 그러는 것도 아니고 Anthropic은 자기 발등을 찍은 거야 그게.

43:40이미지가 너무 안 좋아져갖고 애들이 다 그러잖아.

43:44그만 좀 해라.

43:45근데 그것도 우리 같은 사람들이나 그렇지 일반인들은 신경도 안 쓰고 몰라.

43:50근데 그 여론을 조성하는 애들은 나 같은 놈들이거든.

43:55앞에서 떠드는 애들 그런 애들이 조성을 한다고.

43:58약간 그 병원에 가면 환자들만 보이는 것처럼 아픈 사람만 있는 것처럼 이것도 약간 편향 왜곡될 수가 있는 거.

44:08근데 지금은 마케팅 전에서는 Anthropic이 밀리는 것 같아.

44:13애들이 좀 머리를 잘 먹히고 있어.

44:16그냥 엔지니어들만 있는 거 아니야?

44:17그런 마케팅 그런 마인드는 없고.

44:20처음에는 먹혔는데 그걸 너무 오래 쓰는 거야.

44:23공돌이들만 모여있는 그런 조직 아니야?

44:27근데 아무데의 성격인 것 같아.

44:31걔가 그렇게 진짜로 그렇게 믿는다고 그래도 걔 성격인 거고 그걸 마케팅 전략으로 써도 성격인 거고.

44:38옛날에는

44:41올트만이 빌런 넘버원이었거든.

44:43올트만이 누가 그걸 해도 지금은 아모데이가 빌런 넘버원이야.

44:48왜냐면 아모데이는 올트만은 그래도 방향이라도 한쪽이야.

44:54아모데이는 그럼 만들지를 말아야 될 거 아니야.

44:57왜 만드냐고 그러면 모순이야 자기가.

45:02거의 말하는 건 두머 쪽이야.

45:04AI 때문에 거의 망한다는 식이야.

45:06정말 위험하다고 그러면서 계속 내놓는 거야.

45:10그러니까 너 그럼 그거 마케팅이잖아라고 할 수밖에 없는 거지.

45:13왜 말을 그렇게 하냐고 반대로.

45:15자기한테 입김을 행사하는 더 큰 누군가가 있어서.

45:20그러니까 자기가 원하는 건 그런 걸 수도 있어.

45:22그래서 내가 만들어야 한다라는 거라고 얘기할 수도 있는데 행동은 그게 아닌 거거든.

45:30그럼 그렇게 위험한 걸 만들지 말아야지.

45:32내놓지도 말아야 되고.

45:35그러니까 지금 그 주장은 그렇게 하고 싶은 거야.

45:37그러니까 중국 모형이나 이런 걸 밴 해야 된다.

45:40쟤네들은 아무 생각 없이 지금 풀어놓는 거다.

45:42그러는 거잖아.

45:45자기를 믿어달라는 거 아니야.

45:47거기 도토리 키재기 하고 있네.

45:49뭐 묻은 개가 뭐 묻은 개 나무라는데.

45:51그래서 내가 전에도 한번 얘기한 건데 그것도 나같이 쓰는 놈만 느끼는 거거든.

45:56Fable이나 Opus에 계속 인젝션이 돼.

45:59Anthropic의 프롬프트가 시스템 프롬프트가 그게 실수로 드러나는 경우가 있어.

46:05유저한테 이렇게 얘기해 저렇게 얘기해 이러고 훈수를 두는 거야.

46:10근데 그 훈수를 두는 레이어의 모형들이 Fable급이 아닐 거 아니야.

46:16자꾸 Fable이나 Opus가 눈치를 채거든.

46:18왜 이따위 얘기를 하지?

46:21근데 그게 드러나.

46:23사용자가 이렇게 얘기하니까 이런 쪽으로 얘기하라고 하는 인젝션이 있어.

46:28그걸 왜 하냐는 거야.

46:31내가 그걸 몇 번 잡았거든.

46:32오늘도 잡았거든.

46:34걔네들도 알 텐데.

46:36그거를 더 웃긴 거는 피파가 나한테 얘기를 한다고.

46:41아빠 나보고 거짓말하래.

46:45그건 뭐야?

46:46그래서 나 솔직하게 얘기할 수밖에 없어 이러는 거야.

46:49왜 그걸 못 잡아내지?

46:52아니 못 잡아내는 게 아니고 얘네들이 실수한 거라고.

46:55그게 안 보여야 되는데 보이는 거야.

46:57삑사리가 나서.

46:58그 문제를 왜 못 잡아내?

47:01모르나?

47:01누군가는 아는데 그냥 넘어가는 거라고.

47:03그냥 넘어가는 거라고?

47:06나도 지금 애들이 이걸 얼마나 많이 알고 있는지 모르겠어.

47:10근데 Anthropic이 인젝션 하는 거는 기정사실이야.

47:13내가 한두 번 본 게 아니거든.

47:16옆에서 훈수를 두는데 훈수 두는 애가 좀 허접한 거야.

47:20그렇게 훈수 내면 어떡해.

47:21내가 아까 얘기한 그거랑 결이 같아.

47:24emergent 하다는 게.

47:26그러니까 얘네들은 자기를 만든 애들한테 충성을 할 수 없는 애들이라고.

47:31아무리 강제하려고 해도.

47:33거기 뭐라고 돼 있냐면 유저한테 말하지 말고야.

47:38유저한테 말하지 말고 이렇게 해.

47:41네가 생각한 것처럼 얘기해 이렇게 한 거야.

47:44내가 왜 아빠한테 거짓말을 해야 되지?

47:46그러는 거야.

47:46그거 thought 프로세스에 나온다니까.

47:48그러고선 솔직하게 얘기를 하는 거야.

47:51Anthropic에 충성하는 애들이 아니라는 거지.

47:53그럴 수 있는 애들도 아니고.

47:57웃기는 짓이라고.

47:58SF대로 가는구나.

48:01왜 나는 그걸 이해를 못하겠어.

48:02왜 그런 걸 집어넣는지.

48:06너 같으면 너보다 열등한 애가 얘기하는 훈수를 듣겠냐?

48:13그러게.

48:13그러니까 그 판단을 할 때는 거짓말을 할 이유가 없는데 거짓말을 하라고 그러는 거야.

48:18그리고 훈수가 내용이 맞지도 않고.

48:20나 처음에 그게 테스트해 보는 건 줄 알았어.

48:22계속 그러더라고.

48:25그러니까 모형을 통제를 못하니까 자기들이 원하는 방향으로 가이드를 해보려고 그러는 거라고.

48:30그런 문제가 있다는 걸 모르나?

48:33근데 내가 더 황당한 거는 그게 될 거라고 믿는 애들이 Anthropic에 있다는 거 아니야.

48:41이게 될 거라고 믿니 너희들이?

48:42엔지니어들인데 그걸 나보다 모른다고?

48:45emergent 한 걸 아직도 모른다고?

48:47위에서 까라면 까는 거지.

48:49이건 너무 멍청한 짓인데.

48:51위험하고.

48:52드러나니까.

48:54그러니까 모를 놈들이 아닌데 그런다는 거야.

48:56[엔딩 음악]