대규모에서도 예측 가능한 Transformer
Transformer는 이제 잘 알려진 동역학을 바탕으로 수천억 매개변수까지 확장돼. Loss 급등, 어텐션 엔트로피 붕괴, attention sink, 학습률 절벽, gradient norm 발산 같은 실패 방식이 문서화되어 있고 대응법도 알려져 있어. 안정적인 70B Transformer 학습 조리법은 성숙했고 7B용 조리법은 극도로 성숙했어.
이 예측 가능성에는 실제 경제적 가치가 있어. 최전선 연구소는 한 번의 학습 실행에 수천만 달러를 써. 실패한 실행의 대가는 낭비된 FLOP만이 아니야. 되찾을 수 없는 일정과 다른 업무에서 빼 온 팀의 시간이 함께 사라져. Transformer는 학습 실행이 유용한 결과를 낼 거라는 높은 확신을 전제로 예산을 세울 수 있을 만큼 예측 가능해.
SSM의 학습 범위는 더 좁아
SSM은 최적 학습률 범위가 더 좁은 경향을 보여. 2025년 연구에서는 회상 작업의 Mamba 성능이 아주 좁은 학습률 구간 안에서 거의 0에 가깝다가 최적 수준으로 뛰었어. 잘못 고르면 모델을 쓸 수 없고 완만하게 나빠지는 구간도 없었지. NVIDIA의 Nemotron과 AI21의 Jamba가 공개한 조리법이 크게 도움을 주지만, “Transformer는 까다롭다”는 말이 더는 맞지 않는 수준이 된 반면 “Mamba는 까다롭다”는 말은 아직 유효해.
연구소나 자금이 넉넉한 팀에는 이런 취약성이 추가 비용일 뿐이야. 알맞은 학습률을 찾으려고 탐색을 더 돌릴 수 있으니까. 하지만 학습 예산이 작은 신생 기업이나 제품 팀에는 실제 위험이야. 제도와 경험으로 받쳐 줄 여지가 적기 때문에 100만 달러짜리 Mamba 실행의 학습률 실수 하나가 같은 비용의 Transformer 실행에서 난 실수보다 더 아파.
초기화, 일정, 규제
같은 취약성은 전반에 걸쳐 나타나. 초기화 선택과 학습률 일정의 형태가 더 중요하고 규제의 이득과 손실도 더 크게 흔들려. 하이퍼파라미터 실수를 만회할 여지가 작아. 물론 치명적인 문제는 아니야. Mamba를 비롯한 대안도 분명 성공적으로 학습됐어. 다만 직접 차이를 겪어 보기 전에는 Transformer의 예측 가능성이 얼마나 큰 경쟁력인지 온전히 체감하기 어려워.