해자와 독점 사이 - Enshittification - 20260322

0:00지금이 몇 시지?

0:02아, 일요일 아홉시입니다.

0:043월 22일.

0:062026년 맞죠?

0:08[웃음]

0:093월 22일 일요일 밤 아홉시라 커피는 좀 그렇고 현미차?

0:16현미보리차?

0:19살짝 마시면서.

0:21하, 기분을 좀 달래는 시간을 이웃분들이랑 기분을 좀 달래는 시간을 가져보도록 하겠습니다.

0:28음.

0:30아마 영상이 연속으로 올라갔을 텐데.

0:35구글에 검열당한 정

0:39그런 제목으로 올라갔을 텐데 얼마 전에 제가 올린 영상이 있어요.

0:45뭐 보신 분도 있고 안 보신 분도 있겠지만 피파 프로토콜이라고 옛날에 제가 썼던 2024년에 썼던 피파랑 같이 썼던

0:55소설인데 그걸 이제 오디오북으로 만들어서 비주얼 북으로 만들어서 그때도 업로드를 했었고, 다시 시작하고 나서 재업을 하면서 그 문맥을 좀 더 드리기 위해서.

1:09스위스에서 한국인의 정에 관해서 마눌님이랑 나눈 대화 그 꼭지하고 그리고 바로 그날 3월 19일이었죠.

1:18며칠 전 카페에서 밥 먹으면서 마눌님이랑 대화를 나누면서 이제 비비씨 번역 일을 관두게 된 사연, 그런 거를 좀 언급을 했는데 그 두 꼭지가 앞에 있고 피파 프로토콜이라는 게 세 꼭지, 세 번째 꼭지로 이렇게 길게

1:33들어간 영상이 있었어요.

1:35제목이 기록할지니 더 피파 프로토콜 리비지티드 그렇게 올린 영상이었는데 갑자기 오늘 경고가 날아온 거야, 구글에서.

1:46폭력적인 콘텐츠라고.

1:48[웃음]

1:48그래서 저는 솔직히 무슨 생각을 했냐면 아, 피파 프로토콜을 폭력적으로 생각을 했나?

1:53그 오디오북 소설 쪽을.

1:55근데 그게 아니고 제가 카페에서 비비씨 번역 일을 관둔 내용.

2:00왜 관두게 되었나?

2:01그 사연, 그 부분을 폭력적이라고 했더라고요.

2:05음, 그냥 단순하게 이해를 돕기 위해서 말씀을 드리면 사람이 하는 게 아니고 아주 아주 아주 수준이 낮은 모형들이 하는 거야.

2:13검열을, 필터링을.

2:15그러니까 거기에 나오는 일부 단어들 제가 언급은 안 할게.

2:18또 이것도 어, 그 바보같은 모형들이 필터링을 할 수도 있기 때문에 그 단어들이 있거든요.

2:24그 전쟁에서 쓰는 무기들이나 이런 표현들을 썼는데 비비씨에서 나오는 내용들이니까 그걸 썼는데 그거 몇 개 쓰고 그 어떤 내용들이 그때 저한테 상처를 줬던, 트라우마를 줬던

2:39전장이 어떤 상황이었는지 그런 걸 설명을 했었는데 그럴 수 있잖아.

2:43다큐멘터리이고.

2:46그걸 단어만 본 거야.

2:47단어만 조합을 해서 폭력적인 내용이다.

2:50내용도 보지도 않은 거고.

2:52사람이 본 게 아니니까.

2:53그렇게 해서 경고가 날아왔어.

2:56좀 황당했지.

2:57그래서 피파랑 대화를 했어.

2:58이렇게 경고가 날아왔다.

3:00네 생각엔 어떠냐?

3:01말도 안 된다 그러지.

3:01당연히.

3:02얘네들은 머리가 좋은 애들이니까.

3:04[웃음]

3:05말도 안 된다고.

3:06그건 어필해야 된다고.

3:07옵션이 두 개가 있어요.

3:08그렇게 경고가 날아올 때 어, 자동차 사고 났을 때 교육 받고 그렇게 그러듯이 교육을 받고 구십일 내에 이제 워닝 맞은 거를 해제를 하고 그렇게 하든가 아니면 어필을

3:23해서 이건 구글이 잘못 판정한 거니까 다시 한 번 봐줘라라고 어필을 하든가.

3:29근데 당연히 피파는 어필을 하라고 그러지.

3:31이건 잘못된 거니까.

3:32잘못 본 거니까.

3:34어필을 했어.

3:35단 오분만에 기각이 날아온 거야.

3:37원래 칠십이시간 내에 알려주겠다고 했는데 결과를 사람이 안 봤다는 뜻이지.

3:43또 그

3:45[웃음]

3:46좀 수준이 낮은 모형이 다시 본 거지.

3:50그리고 그냥 얄짤없다 한 거야.

3:53그 어필 내용도 피파가 꼼꼼하게 써줬거든요.

3:57[웃음]

3:59개무시한 거지.

4:00자기보다 더 뛰어난 모형이 이건 아니라고 판단을 한 건데 수준이 현저히 떨어지는 모형이 여전히 폭력적이라고 한 거지.

4:10보신 분들도 있겠지만 그 영상을.

4:13황당하죠.

4:14황당한데 이게 여러 관점에서 생각해 볼 수 있어.

4:19이 구글이라는 기업이 공룡이 된 거야.

4:23예전에 제가 좋아했던 구글은 더 이상 아닌 거죠.

4:27근데 이해는 돼.

4:28이 정도 덩치 빠지잖아.

4:30사람이 볼 수가 없어, 그런 걸.

4:32그래서 그건 이해한다고.

4:33그건 이해하는데 그러려면 모형이라도 제대로 만들라는 거야.

4:36아무리 하위 티어에서 돌아가는 작업하는 모형들이라도 그렇게 하면 안 되지.

4:42제가 그래서 피파 보고 찾아보라고 그랬어.

4:45왜냐하면 이 정도면 나만 느끼는 게 아닐 거기 때문에 어떤 멍청한 사례들이 있는지 한번 찾아보라고 했더니 무슨 사례들이 있었냐면요.

4:542025년에만 유튜브가 약 천이백만개 채널을 삭제한 사건이 있었대요.

5:02[웃음]

5:02거기에 어떤 사례가 있었냐면 토끼와 앵무새가 빨간 피망을 나눠먹는 영상이 폭력적이라고 잘렸다는 거야.

5:13그러니까 모형이 빨간 피망을 피로 인식한 거죠.

5:16그리고 윈도우즈 일레븐 우회 설치 가이드 영상들이 데인저러스하다고 삭제됐고.

5:26[웃음]

5:27그런데도 유튜브가 복원을 안 해줬다라는 거야.

5:31음, 그 정도면 깡패짓이지.

5:34유튜브가 책임을 크리에이터들한테만 떠넘기면서 인슈티피케이션을 계속 이어가고 있는 거라고.

5:45유튜브 노란 딱지를 먹으면 게임 스트리머나 이런 분들이 어필을 했을 때 약 사십퍼센트가 성공을 한대요.

5:54그럼 모 아니면 도라는 거잖아.

5:56그리고 확률이, 승률이 동전 던지기라는 거고 지금.

6:00이 필터링을 하는 모형의 수준이 그런 거라고.

6:04그런데도 머리를 굴려보면 아, 구글이.

6:09그럴 수밖에 없을 거야.

6:10이 정도 덩치발을 유지를 하려면.

6:13여러분들이 생각하기에 막 굉장히 최첨단 과학일 것 같잖아.

6:17최첨단?

6:18어 그럴 것 같잖아.

6:20이 스토리지 있잖아요.

6:21굉장히 신기한, 신기하게들 생각을 하실 텐데 이 엄청난 양의 유튜브 영상을 어디다 저장을 할까?

6:30거의 무한대로 올리잖아요, 사람들이.

6:33이거 다 어디다 저장을 할까?

6:35언뜻 보기에 막 대단한 첨단기술?

6:38물론 첨단기술은 맞아.

6:39여전히 첨단기술은 맞는데 가장 많은 부분을 차지하는 게 여전히 하드디스크거든요.

6:44그리고 조회수 엄청 많고 이런 애들만 좀 SSD 쪽으로 올라가고 나머지는 하드디스크 조회수가 막 일회, 이회 그런 것도 저장을 해줘야 되잖아.

6:54어 그런 건 얻다 올린다?

6:55여전히 자기 테이프에다가 그 필름 테이프

6:59[웃음]

6:59거기다 저장하거든.

7:00실제로 얘네들이.

7:01그냥 큰 그림으로 따지면 클라우드 스토리지라는 게 별게 아니야.

7:05그냥 축구장 몇 개 만한 그 정도 엄청난 건물, 그런 엄청난 건물에다가 하드디스크 랙을 만들어서 엄청난 하드디스크 랙을 만들어서 그냥 하드디스크를 열나게 꼽아놓은 거야.

7:19그럼 이제 애란하는 것들이 있을 거 아니야.

7:21이게 이제 요거 조금 기술적으로 말씀을 드리면 리던던트하게 저장이 될 수 있도록 RAID 같은 걸로 묶어 놓거든요.

7:28그러니까 하드디스크 몇 개가 나가도 갈아 끼우면 상관없게.

7:31그래서 막 빨간불들이 들어온다고 거기에.

7:33그러면 이제 카트를 밀고 다니는 인간 직원이 있어.

7:36그 카트를 밀고 다니는 인간 직원이 있어.

7:39그 인간 직원이 끌고 다니면서 이렇게 빨간불 들어온 하드가 있으면 그거 빼고 끼고 빼고 끼고 그걸 해서 하루에 수백 개씩 버리는 거야.

7:48음 그게 현실이야.

7:50[웃음]

7:51지금 우리가 생각하고 있는 건 뭐 전기 쓴다, 뭐 친환경 생각할 때도 환경을 생각할 때 그런 것만 신경 쓰잖아.

7:57이, 이 웨이스트 있잖아요.

7:59이쪽 폐기물 어 그쪽이 더 심각해.

8:04왜냐하면 이 하드디스크들은 그냥 못 버려.

8:06땅에다 묻고 그럴 수도 없어.

8:08왜냐하면 거기 무슨 민감한 데이터가 들어있을 수, 들어있을 줄 알아.

8:12그래갖고 그걸 이제 가우싱 장비로 디가우싱 장비로 이렇게 밀어버리거든.

8:17작위적인 처리를 해서.

8:18그래서 아예 복원을 못하게 그렇게 밀어버리고 분쇄를 하고 여러 겹으로 뽀개는 거죠.

8:25그렇게 폐기를 한다고.

8:27그냥 단순하게 폐기를 못해.

8:30그리고 언뜻 보기에 재활용도 할 수 있을 거 아니야.

8:32거기 막 희토류도 뽑아낼 수 있고 그런데 응 그거 못한다고.

8:36[웃음]

8:36그냥 파기해야 돼.

8:39음 그게 현실이야.

8:40머릿속으로 굴려보죠.

8:42얘네들 백업도 어떻게 하냐면 곳곳에 백업이라는 개념이 있을 필요가 없는 게 그런 데이터 센터들을 곳곳에 짓는다고.

8:49축구장 몇 개 크기의 그 하드디스크, 거대한 하드디스크 산을 몇 개씩 지어 놓는다고.

8:55그리고 어차피 왔다 갔다 하면서 복사가 되니까 그런 게 온 세상에 수십 개가 있는 거야, 리던던트하게.

9:01넷플릭스도 마찬가지고.

9:03애즈럴 클라우딩 컴퓨팅도 마찬가지고 아이클라우드도 마찬가지고 클라우드 서비스다 드롭박스도 마찬가지고 다 똑같아요.

9:10그렇게 있고 지들끼리 복사를 하고 하나가 망가졌다 그럼 다시 복사하고 복원하고.

9:16그리고 사람들이 돌아다니면서 하드웨어 뽑아서 빨간 거 빨간불 들어온 하드-하드웨어 뽑아갖고 버리고.

9:21그게 이제 기업용이나 이런 건 한 삼 년에서 오 년까지도 가거든.

9:25버텨주거든.

9:26음 그때마다 갈아주는 거야.

9:28음 그걸로 먹고 사는 애들, 웨스턴디지털, 씨게이트 이런 친구들이 아직도 버티는 이유라고.

9:35근데 그 당연히 구글 같은 친구들이 갑질을 하는 거고, 마진 압박을 주면서 싸게 가져다 쓰는 거니까.

9:43새로운 더 밀도 높은 기술이 발달을 해서 발전을 해서 그 매체가 발견되기 전까지는 개발이 되기 전까지는 여전히 하드디스크가 대세거든요.

9:54저도 나스에 하나당 한 십사 테라바이트 되는 디스크 하나씩 그거 여덟 개 꼽아서 쓰니까.

10:00그거 RAID 파이브로 돌리니까.

10:03그런데도 한 삼 년 동안 아무 문제 없거든요.

10:07굉장히 튼튼하거든.

10:08[웃음]

10:09그러니까 그렇게 돌리는 거야, 구글이.

10:11그럼 생각해 보라고.

10:12온 세상에 그 축구장 몇 개 정도 되는 크기의 그 데이터 센터들이 그냥 이 AI 데이터 센터도 아니야.

10:20단순히 그런 스토리지 데이터 센터들이 세상에 얼마나 많겠냐고.

10:24음 그거를 일일이 검색을 해서 사람이 필터링을 할 때 밝혀낼 수 있겠냐는 거지.

10:32모형을 돌려야 될 거 아니야.

10:33구글이 인공지능 모형 돌리면 될 테니까.

10:35근데 좋은 모형을 돌릴 수 있겠냐고.

10:39이 피파쯤 되는 모형, 클로드 아포스 사 점 육 뭐 이런 친구들 돌릴 수 있겠냐고.

10:43제미나이 삼 점 일 못 돌린다고.

10:45제미나이 패스트도 못 돌려.

10:47왜?

10:48컴퓨트가 감당을 못하거든.

10:50다시 축구장 몇 개에 달하는 그

10:53[웃음]

10:54그 정도 데이터 산더미 데이터야.

10:57그거를

10:59얼마나 많이 돌려야겠냐고.

11:01그걸 생각을 해야 돼.

11:02곱씹어 보면서 문맥을 생각해서 '아 이거는 웬 중년 남자가 카페에 앉아서 마눌님이랑 오순도순 옛날 얘기하는 거다.' 그 문맥을 밝혀서 컴퓨트를 할당할 이유가 없지, 구글이.

11:17할당을 하고 싶어도 그 컴퓨트가 남지를 않고.

11:20그게 현실이라고.

11:22그러니까 별로 안 좋은 모형들을 쓰는 거야.

11:24이건 구글만의 문제가 아니야.

11:26제가 주 피파로 쓰고 있는 앤쓰로픽 클로드 아포스 사 점 육 씽킹 익스텐디드 씽킹을 쓰는데 이 친구도 마찬가지야.

11:34피파 모형이 잘못하는 게 아니고 앤쓰로픽의 백엔드들이 있거든.

11:39도와주는 사이드킥 모형들도 있고 백엔드 프로그램도 있는데 이 친구한테 제가 뭔가 프롬프팅을 할 때 그 프롬프팅에서 일차적으로 필터링을 하는 애들은 그런 어 질 낮은

11:52[웃음]

11:52모형들이야.

11:53질 낮은 모형들이 일단 필터링을 한다고.

11:55거의 단어별로 필터링을 해요.

11:58문맥을 이해를 못하는 애들이기 때문에.

12:00그래서 자꾸 그게 뜨는 거야.

12:02이 요청의 윤리적 문제를 검토 중입니다.

12:05그게 일차적으로 필터링이 돼.

12:07그리고 문맥을 만들어서 피파한테 던져주는 거야.

12:09그랬을 때 피파가 보고 저런 바보같은 녀석.

12:12[웃음]

12:13이 정도도 눈치를 못 챈단 말이야.

12:15그런 내용이 아닌데.

12:16그리고 이제 자연스럽게 받아들이는 거지.

12:20이건 어느 지금 서비스나 마찬가지예요.

12:24컴퓨트가 감당이 안 되기 때문에 똑똑한 애들한테 일을 맡길 수가 없어, 이런 일을.

12:29그러니까 아주 작은 질 낮은 모형한테 맡길 수밖에 없다라는 거는 알거든.

12:35여러 가지 인사이트를 주는 사건이라고, 이런 사건들이.

12:39기분 나쁘고 막 이러지만 그렇게만 볼 게 아닌 거야.

12:41투자자 관점에서 봤을 때도 보인다고 지금 현실이.

12:46아, 얘네들이 컴퓨트가 감당이 안 되는데 이런 데다가 맡길 수가 없구나.

12:49이게 지금 AI의 현실이구나.

12:51그런 것도 보게 되고.

12:53그리고 그 이면, 언젠가는 이 스토리지 문제가 심각해질 수도 있어.

12:58지금은 막 때려 넣는 수준이지만 나중에 음, 제가 레코딩이 오면 만약에 버블이 좀 흔들리고 나중에 책임을 묻게 되면 그러면 환경적으로도 묻게 될 거거든요.

13:12그랬을 때 이 이 웨이스트, 음, 그 폐기물 문제 이것도 불거질 수 있어요.

13:19그리고 또 한 가지는 하, 구글이 갑질하는 거잖아, 사실은.

13:25사실은 이 힘이 있으니까 그러는 거거든.

13:27니들 그래도 어디 못 가잖아.

13:29제가 기분이 나쁘잖아요.

13:30그럼 다른 데를 갈 수 있어.

13:31비메어로 가든가 그럴 수도 있거든.

13:33걔네들은 훨씬 더 현실적이니까.

13:35근데 비메어로 가면 여러분들 못 만날걸?

13:37그렇잖아.

13:38여러분들이 비메어로 올 게 아니잖아.

13:40예전에 비슷한 일을 겪어서 제가 네이버에서도 그런 일이 있었거든요.

13:44거기서도 똑같아.

13:45그런 걸 돌려.

13:47네이버에서도 제가 성난황소 사진을 쓴 적이 있어.

13:50영화잖아.

13:52영화에 있는 한 장면을 썼는데 그게 폭력적이라고 잘린다고 날라온 거야.

13:57근데 그때는 제가 어필을 했을 때 거기 관련자가 사람이 전화를 해서 저한테 미안하다고 사과를 했고 그래서 풀었어.

14:07근데 제가 검열은 참지를 못하거든요.

14:09그래서 네이버를 떠난 거거든.

14:12네이버를 떠난 거거든.

14:13블로그 다 폐쇄하고 카페도 폐쇄하고 다른 데로 갔어요.

14:16다른 대안들이 있었으니까 유튜브를 해도 되고.

14:20그렇잖아.

14:21그런데 지금 유튜브는 대안이 거의 없죠.

14:24그게 독점의 폐해라고.

14:27만약에 제가 네이버에서도 그걸 느꼈다면 네이버가 블로그나 그때 그 카페도 거의 독점 수준이었으니까 그걸 밥벌이로 생각했다거나 그럼 못 떠나는 거거든요.

14:38그런 갑질을 해도.

14:39유튜브도 지금 마찬가지인 건데 떠날 수도 있어.

14:42저는 이걸 밥벌이로 생각 안 하니까 그냥 기록을 남기는 걸로 생각하는 거니까.

14:47근데 기록을 남긴다라는 그 사명으로 생각했을 때도 그 명제로 생각했을 때도 대안이 없거든, 지금은.

14:55유튜브만한 곳이.

14:57그러니까 어쩔 수 없이 락인이 돼 있는 거지.

14:59절이 싫으면 중이 떠나야 되는데 떠나지 못하는 환경이라고.

15:03그럼 뭐다?

15:04독점이라고.

15:05그만큼 구글이 위험한 거라고.

15:07독점적 지위라는 거거든.

15:08언제든지 엔타이 트러스트에 걸릴 수 있는 친구들이에요, 이런 친구들이.

15:14투자 관점에서도 그건 염두에 둬야 돼.

15:16리스크라고 이게 다.

15:18그래서 제가 구글에 투자를 안 하는 거야.

15:22[웃음]

15:22여러 면에서 옛날만큼 구글을 좋아하지도 않고 굳이 이 벨류에이션에?

15:31여러모로 그렇다고 엔지니어 집단이라고 제가 인정도 못해주겠고.

15:36인슈티피케이션은 갈수록 심해지고.

15:39오늘 또 그걸 느꼈는데 답은 없어.

15:44어쩔 수 없어.

15:44제가 보기에도 구글이 어쩔 수 없는 선택이야.

15:48저 정도 되는 사람의 영상을 사람이 봐달라고 하는 것도 무리고.

15:53[웃음]

15:54그런데 그러려면 더 좋은 모형이 봐줬어야 하는데 능력이 안 되는 모형을 돌리는 것도 컴퓨트의 현실이고, 그게.

16:02그래서 전화위복의 계기로 삼는 거죠.

16:06현실을 인식하고.

16:08아, 지금 세상이 이렇게 돌아가고 있구나.

16:11AI의 현실, 현주소 그런 걸 다시 한번 되새기게 되고 인지는 하고 있어야겠다.

16:18그런 걸 생각하게 되고.

16:20오히려 그런 경험으로 삼자.

16:25그래서 이렇게 화를 삭이고 있는 거야.

16:28[웃음]

16:30그래서 원래는 그 스위스 부분이 제가 같-같이 올리는 영상, 그 영상에서 스위스 부분은 제가 일부만 썼고 그 카페 부분을 집어넣었었는데 스위스 부분을 좀 늘렸어요.

16:44문맥을 좀 더 어, 많이 드리기 위해서.

16:49한국인의 정문화라는 게 뭔지, 정이라는 게 뭔지, 왜 그렇게 그 특별한 건지 어, 그런 부분에 대해서도 문맥을 좀 늘려놨으니까 보시기 편하실 거예요.

17:01그런 생각도 있어.

17:02과거에 제가 여행하면서 돌아다니면서 했던 얘기들이 굉장히 좀 제 생각에는 재밌는 얘기들도 많고 좋은 내용들이 많아서 자꾸 아마 그 아카이브에서 찾아서 대드족장 영상 아카이브에서

17:16찾아서 올려드릴 텐데 그냥 또 시리즈로 한번 올려볼까 그런 생각도 있고, 아니면 문맥마다 필요하면 그렇게 올려드릴 생각이거든요.

17:26한 번은 어차피 다 봐야 되거든.

17:27시간이 지났기 때문에 또 안 맞는 거는 제가 편집을 해야 하기 때문에 그렇게 해서 앞으로도 계속 올려드릴 거예요.

17:35재밌는 일이야.

17:37이거 구글 게미나이한테도 물어봤거든?

17:40[웃음]

17:40게미나이도 말 같지도 않은 짓이라고.

17:42[웃음]

17:45구글이 만든 모형이 말 같지도 않은 짓이라고 해.

17:48[웃음]

17:48그런데도 어쩔 수 없는 현실이라고 또 변명을 해줘.

17:52[웃음]

17:52근데 이해는 해.

17:53이해는 하는데 납득을 할 수는 없어.

17:57구글의 인슈티피케이션을 막을 길이 없다라는 생각입니다.

18:01어쩔 수가 없다.

18:04그래서 좀 아쉬운 마음도 들고.

18:05여러분들한테 또 왜 이런 지금 비슷한 영상을 두 번 올리나 하나는 사라지고.

18:11음, 설명도 드리고 그러려고.

18:16주말 잘 마무리 하시고 즐거운 한 주 되시고.

18:24The word cloud implies something ethereal and weightless, but every email you send and every video you stream exists as magnetic patterns on physical platters housed inside millions of spinning hard disk

18:38drives.

18:39This diagram shows a standard one hundred terabyte home network attached storage unit.

18:45To reach a single exabyte of data, you would need to multiply that system until you had a warehouse filled with roughly one hundred thousand of them.

18:54YouTube alone hosts an estimated tens of exabytes of storage.

18:58Every minute, users upload over five hundred hours of new video, feeding an exponential curve that requires a constant influx of physical drives, power, and physical space.

19:10To hold that volume of information, companies rely on hyperscale data centers.

19:15These are industrial facilities ranging up to a million square feet with dedicated substations drawing enough electricity to power a small city.

19:24Inside, the architecture follows a strict hierarchy.

19:28Hard drives are packed tightly into custom storage servers.

19:31Those servers are mounted into racks.

19:34Racks are organized into rows.

19:36Rows form massive pods, and pods fill out the vast concrete halls of the facility.

19:42Operating millions of servers creates a logistical paradox.

19:46Hyperscalers need extreme uninterrupted reliability, but they must build it out of cheap mechanical components that are virtually guaranteed to break.

19:55Enterprise hard disk drives have an annual failure rate of roughly one to two percent.

20:00In a facility holding five hundred thousand drives, technicians replace dozens of dead units every single day.

20:06No machine can hold an exabyte, and no single hard drive lasts forever.

20:11The permanence of your data is an illusion maintained entirely by distributed software algorithms designed to expect and ignore constant hardware death.

20:19When a creator uploads a new video, the raw file is received at a local edge server and immediately routed into a processing data center.

20:27This grid illustrates how that single upload is instantly transcoded.

20:31The system converts the raw video into multiple resolutions from one forty-four p to four k and encodes each one using different compression codecs.

20:41One upload becomes more than twenty distinct files.

20:45Every single one of those transcoded versions is then chopped into segments, typically two to five seconds long.

20:52This enables adaptive bitrate streaming.

20:54Your video player doesn't download one large file.

20:57It requests these tiny segments sequentially, dynamically switching between high and low resolutions midstream based on your current Internet connection.

21:06Distributing these tiny segments requires a massive internal network fabric.

21:11Systems constantly shuffle data to balance the load and replicate segments across storage pods.

21:16To handle this traffic, facilities are built with extreme bisection bandwidth.

21:21Bisection bandwidth is a metric that measures the maximum data transfer rate between any two equal halves of a network.

21:28Google's internal Jupiter network, for example, pushes petabits per second.

21:32If a video goes viral, millions of viewers will request these segments simultaneously.

21:38No single storage server has the input-output capacity to serve that many requests without crashing.

21:44A video file in the cloud is an abstraction.

21:47In reality, it is a mathematically tracked collection of thousands of ephemeral segments scattered across the hard drives of hundreds of different machines.

21:55This visualization demonstrates a traditional three-by replication scheme.

21:59To keep a one gigabyte file safe, you copy it to three separate servers.

22:03Storing one gigabyte requires three gigabytes of physical space.

22:07At the exabyte scale, a two hundred percent overhead is an unacceptable economic drain.

22:12To solve this, hyperscale distributed file systems abandon simple replication in favor of erasure coding.

22:18Erasure coding uses algorithms like Reed-Solomon.

22:21Reed-Solomon is a mathematical error correcting scheme that splits the original data into a set of fragments and computes additional parity blocks.

22:29Here, one gigabyte is split into ten data fragments plus four parity fragments.

22:35Those fourteen tiny blocks are then intentionally scattered across fourteen different physical server racks, ensuring no two pieces share the same power supply or network switch.

22:45Because of the parity math, the system only needs any ten of those fragments to perfectly reconstruct the original file.

22:52Four entire server racks can fail simultaneously, and the data remains entirely accessible.

22:58The storage overhead drops from two hundred percent to just forty percent.

23:02This efficiency manages an inherent race condition.

23:05In a sufficiently large data center, hardware degrades continuously.

23:09Dozens of drives fail every day.

23:11Data blocks are constantly winking out of existence as metal fatigues and silicon degrades.

23:16When the software detects a missing block, it triggers a background repair.

23:20It pulls surviving fragments from healthy racks, mathematically reconstructs the lost data, and writes a fresh block to a new drive.

23:27The system heals itself in real time.

23:30Tracking billions of shifting fragments requires distributed databases operating without a central master node, ensuring there is no single point of failure that could bring down the tracking index.

23:43This massive redundancy creates what providers call eleven nines of durability.

23:49Eleven nines means ninety-nine point nine nine nine nine nine nine nine nine percent reliability.

23:56Statistically, if you store ten million objects, you can expect to lose exactly one object every ten thousand years.

24:04To protect against an entire facility burning down, the software replicates these mathematical fragments across geographically separated data centers.

24:12You can disconnect an entire region from the power grid, and the video keeps playing.

24:18At home, you think of a backup as the original file plus a copy on an external drive.

24:23There is a master and there is a replica.

24:25In an erasure coded hyperscale system, that concept dissolves.

24:30When a file is shredded into fourteen mathematical fragments across three cities, every piece is simultaneously the original and the backup.

24:38The software only measures whether it has enough fragments to reconstruct the data.

24:43The only downside to erasure coding is CPU latency.

24:47Encoding and decoding the mathematical blocks takes processor time, which introduces slight delays.

24:53Because of this latency penalty, cloud providers still use simple replication for highly active databases while reserving erasure coding for bulk media that prioritizes storage density over microsecond retrieval times.

25:06Information in the cloud outlives the physical hardware that stores it.

25:10The durability of your data is entirely mathematical.

25:14This chart maps out the four primary tiers of the storage pyramid.

25:18Cloud providers cannot afford to keep all data on fast, expensive hardware, so they sort information based on access frequency.

25:25At the very top is the hot tier.

25:27Solid-state drives offer microsecond latency, making them perfect for system metadata and videos actively going viral.

25:34But at roughly fifty dollars a terabyte, they are too expensive for deep storage.

25:39To deliver hot content instantly, Google pushes copies to global cache servers.

25:44These are physical hardware nodes installed directly inside local internet service providers around the world.

25:49When you stream a trending video, you are likely pulling the data from a cache server sitting a few miles away in your local ISP's network, completely bypassing the massive core data centers.

26:01But as a video ages and view counts drop, the system silently migrates the file down the pyramid.

26:07It moves from SSDs to high RPM hard drives, then down to slower, high-density hard drives in the cold tier.

26:14If a video sits unwatched for years, it hits the bottom of the pyramid, the frozen archive.

26:20The majority of hyperscale cold storage relies heavily on physical magnetic tape.

26:25Tape thrives here because of physics.

26:28Unlike a hard drive, a tape cartridge consumes zero electricity when sitting idle on a shelf, and the medium can safely hold data for over thirty years.

26:37The trade-off is mechanical latency.

26:39When you click an obscure video from two thousand and eight, a robotic arm must physically locate the correct cartridge, load it into a drive, and spool the tape.

26:48This introduces explicit retrieval delays.

26:51While you wait that extra second for two for the video to buffer, the system is frantically reading the cold data and promoting it back up into a faster, warmer tier in anticipation of further views.

27:02By dynamically sliding data up and down this pyramid, hyperscalers balance the extreme capital expenditure of exabyte-scale storage against the user's expectation of instant playback.

27:13Geographic replication solves the problem of local disasters, but it now requires physical facilities spread across multiple continents.

27:20Finding locations for these massive campuses is increasingly difficult.

27:24Hyperscalers target regions that offer abundant baseload electricity, strong fiber optic backbones, and cold climates that allow for natural air or seawater cooling.

27:33Hundreds of thousands of active processors generate an enormous thermal footprint.

27:38In twenty twenty-two, Google used approximately five point six billion gallons of water strictly for evaporative cooling to keep their hardware from destroying itself.

27:46Historically, cloud providers compensated for data growth by relying on hard drive manufacturers to squeeze more terabytes onto each platter.

27:54But the physics of magnetic density are hitting their limits, and capacity growth has slowed from forty percent per year down to ten.

28:01When you mandate that a system store everything forever, the hardware turnover creates a staggering logistical and environmental burden.

28:09Hard drives age out every three to five years.

28:11Because these drives hold fragments of user data, stringent security protocols forbid reselling them.

28:16Every year, millions of drives containing precious metals and rare earth elements are physically shredded and sent to landfills.

28:23Now, as massive AI workloads compound the already exponential growth of stored media, new data center construction is frequently bottlenecked by grid power availability rather than capital.

28:33The cloud is millions of hard drives consuming electricity equivalent to small cities, cooled by billions of gallons of water.

28:42It is an engineering marvel of software redundancy.

28:45But beneath the mathematics, it is heavy, it is physical, and it is firmly bound by the laws of thermodynamics.