“트랜스포머야”만으로는 이제 아무 정보도 안 줘

2022년쯤부터 라벨이 힘을 잃었어

2020년 GPT-3가 나왔을 때 “이건 트랜스포머야”라는 말은 꽤 유용했어. 몇 년 뒤 거의 모든 LLM이 트랜스포머 디코더로 모이자 그 말은 “이 차에는 바퀴가 있어”와 비슷해졌지. 바퀴 달린 차가 Smart Fortwo일 수도 F-150일 수도 있듯이, 트랜스포머 LLM도 맥북에서 도는 7B부터 H100 한 랙을 채우는 671B까지 전혀 다른 물건일 수 있어.

이제 정보는 백본 자체보다 백본에 어떤 선택을 더했는가에 들어 있어. 2026년의 모델 두 개가 실제로 다른 어텐션이나 완전히 새로운 아키텍처 때문에 갈라지는 일은 드물어. 차이는 대개 네 개의 독립된 축에서 생겨.

이 퀘스트가 필요한 이유

변화가 어느 축에서 일어났는지 모르면 비용, 지연 시간, 다른 모델로 옮길 수 있는지조차 가늠하기 어려워. 그러면 모든 발표가 똑같이 혁명적으로 보이거나, 반대로 전부 허풍처럼 보여. 여기서 익힐 어휘는 다음 뉴스 주기에도 쓸 수 있어.

논문의 연대기를 훑거나 벤치마크 팀을 응원하는 퀘스트는 아니야. Mamba부터 Hyena까지 모든 아키텍처를 나열하지도 않아. 그런 정보가 어디에 놓이는지 판단할 나침반을 만드는 게 목적이야.

단어보다 축을 배워

“DeepSeek-V3 671B-A37B MoE, 보조 손실 없는 균형화, FP8 학습, GRPO 후속 학습, 시그모이드 라우팅, MLA 어텐션, 숨겨진 생각의 사슬”이라는 문장을 보자. 각 표현을 네 축 가운데 어디에 놓을지 짚지 못한다면 아직 지도가 없는 거야. 단어를 외우는 대신 단어를 담을 축을 배워.

Code

의사 코드: 2026년에 ‘트랜스포머야’라는 말이 주는 정보·python

# 2020년에는 이걸로 충분했어:
def what_is(model):
    return "a Transformer"

# 2026년에는 follow-up 네 개를 물어봐야 돼:
def what_actually_is(model):
    return {
        "backbone":       model.architecture,        # dense / MoE / hybrid
        "post_training":  model.training_recipe,     # SFT / RLHF / GRPO / DPO
        "inference":      model.inference_strategy,  # std / extended-thinking / TTS
        "product":        model.product_layer,       # RAG / tools / agents
    }

Exercise

지난 6개월 동안 나온 LLM 발표문 세 개를 골라봐. Llama, Qwen, DeepSeek, Gemini, Claude 가운데 무엇이든 좋아. 각 발표를 대표하는 문장 하나를 적고, 문장 속 표현마다 ‘백본’, ‘학습’, ‘추론’, ‘제품’ 라벨을 붙여. 세 발표 가운데 적어도 둘은 백본보다 나머지 축을 더 크게 내세웠을 거야.