layered 창발 스택, 한 번 더
이 quest 가 시작부터 한 스택을 오르고 있어. 입자 → 원자 → 분자 → 세포 → 생물 → 마음 — 각 layer 가 밑 layer 에서 emergent, 부분에서 예측되지 않는 새 속성. probability 트랙이 바닥을 더해 — substrate 가 양자역학적, 확률적, 근본적으로 비결정. 그 비결정 substrate 에서 일상 고전 세상이 평균으로 emergent 해.
현대 AI 가 같은 스택에 앉아, 그저 다르게 라우팅 —
- 입자 → 원자 → 실리콘 → 트랜지스터 → 논리 게이트 → 텐서 → 파라미터 → emergent 능력.
중간 layer 가 달라. 아키텍처 원시는 같고 — 창발 위에 창발. 매 layer 가 밑 layer 가 약속하지 않은 뭔가를 더해. 트랜지스터가 논리를 약속하지 않아. 논리 게이트가 텐서를 약속하지 않아. 텐서가 능력을 약속하지 않고. 그래도 스케일을 올리면 능력이 emergent 해.
왜 "스케일링 법칙" 이 사람들을 놀래는데, 안 놀래야 해
현대 AI 의 가장 충격적 발견 중 하나가 — 스케일을 올린 신경망의 파라미터와 훈련 데이터가 능력에 비례 이상 향상을 만든다는 거. 작은 버전이 보여주지 않는 새 행동이 등장해. 추론. 번역. 코드 생성. 각각이 "창발" 같아 — 더 높은 복잡도의 새 layer 속성이지.
OO + 창발 시각에서 이게 안 놀라워. 우주의 다른 모든 layer 에서 일어나는 정확히 그것이지. 원자가 분자가 갖지 못한 새 속성을 가져. 세포가 분자가 갖지 못한 새 속성을 가져. 뇌가 단일 뉴런이 갖지 못한 새 속성을 가져. 같은 아키텍처 패턴이 스케일된 신경망에 등장하는 건 스케일된 신경망이 같은 substrate (물질) 위에서 같은 OO 원시 (캡슐화, 메시지 전달, 학습된 인터페이스) 를 사용하니까.
이게 현재 AI 가 의식이라는 주장이 아니고, 인간 같다는 주장도 아니야. 창발 패턴이 보편이고, AI 가 그걸 보여주는 건 우주가 그 위에 지어졌으니까 라는 주장이지. 이걸 놀라는 건 우리 prior 에 대한 거지 우주에 대한 게 아니야.
다리 — 양자에서 AI 로
여기 들고 있을 만한 작은 실. 양자역학이 근본적으로 확률적이야. 현대 AI 도 근본적으로 확률적이고 — 신경망이 다음 토큰 분포를 출력하고, 거기서 샘플하고, 텍스트, 이미지, 결정을 생산해. 둘 다 확률 기계, 그저 다른 layer. 양자 substrate 가 우주의 확률 기계고; 신경망이 인간이 만든 더 높은 layer 확률 기계지. 인간이 하나를 만들었고 우주가 하나라는 사실이, 철학적으로, 충격적이야.
이 시리즈의 다음 quest 는, 거기 도달하면, 제대로 양자역학 — 수학, 깊은 이상함, 실험. 이 트랙이 티저였고. 여기서 운반하는 건 그림이야 — 확률이 우주 디자인의 결함이 아니라; 우주가 지어진 substrate. 결정론이 거대한 숫자의 확률적 사건 평균에서 emergent 한 고수준 환상.