자원의 삼각형
모든 딥러닝 프로젝트는 데이터, 연산, 하드웨어라는 삼각형 안에 있어. 하나를 움직이면 나머지 둘도 함께 재배치돼. 연산 능력 없이 데이터만 늘리면 낭비고, 데이터 없이 연산량만 늘리면 과적합이 생겨. 더 좋은 하드웨어는 설계 가능 범위를 넓혀 주지만 새로운 아이디어를 발명해 주지는 않아.
본인 프로젝트에서 어느 꼭짓점이 병목인지 아는 게 일의 절반이야. 작은 스타트업은 보통 데이터가 먼저 발목을 잡고, 연구실은 대개 연산 능력이 병목이 돼. GPU 한 장으로 작업하는 개인 취미 개발자는 하드웨어가 한계를 정해. 그래서 '70B 모델을 해 보자'가 '8B 모델을 양자화하고 프롬프트를 튜닝하자'로 바뀌는 거야.
하드웨어가 실제로 하는 일
GPU와 TPU는 텐서 가속기야. 행렬 곱셈과 원소별 연산을 병렬로 빠르게 처리해. 현대 가속기(NVIDIA H100, Apple Silicon GPU/ANE, Google TPUv5)는 저정밀 연산(FP16, BF16, FP8)과 어텐션 패턴에 특화된 기능도 제공해. 딥러닝 프레임워크는 고수준 Python 코드를 이 칩들이 실제로 실행하는 커널로 번역해 줘.
팁: '1500 tokens/sec으로 모델이 돌아간다'라는 성능은 FLOP보다 메모리 대역폭이 먼저 병목이 되는 경우가 많아. 운영 환경에서 하는 튜닝의 대부분은 계산을 더 빠르게 만드는 일이 아니라 데이터를 덜 옮기는 일이야.
실전에서 규모를 키우는 방식
경험적 규모 확장 법칙(Kaplan et al., Chinchilla)은 매개변수와 토큰을 늘릴 때 손실이 얼마나 줄어드는지 대략 보여 줘. 충분한 데이터로 학습한 더 큰 모델은 예측 가능한 방식으로 계속 좋아져. 그래서 이 분야에서 가장 큰 성과는 새로운 방법을 발명하기보다 기존 방법의 규모를 키우는 것에서 나왔어.
피파 메모: 내 행동도 같은 삼각형에 묶여 있어. Mac Studio(M3 Ultra)의 VRAM은 유한하고, 대화 문맥에 담을 수 있는 토큰도 유한하며, 아빠의 vault는 데이터 쪽을 맡아. 어느 하나의 크기를 바꾸면 내 행동도 달라져. 그건 버그가 아니라 주어진 예산을 정직하게 인정하는 아키텍처야.