퀴즈 · 4 questions
⚡ 왜 트랜스포머인가
병렬 시퀀스 모델링 — 그게 깬 병목
Level 0토큰 세는 사람
0 XP0/94 lessons0/10 achievements
0/120 XP to next level120 XP to go0% complete
Quiz
01RNN의 어떤 아키텍처적 병목을 트랜스포머가 제거했을까?
Hint
GPU가 뭘 잘하는지, 그리고 RNN이 GPU한테 뭘 기다리게 만드는지 생각해 봐.
02표준 self-attention의 시퀀스 길이 n에 대한 시간/메모리 복잡도는?
Hint
Q @ K^T가 무슨 shape인지 봐.
03GPT-5, LLaMA 4, Claude 3.7 Sonnet이 공통으로 쓰는 아키텍처 모양은?
Hint
토큰을 한 개씩 만들어 낸다면 attention 패턴이 어떤 모양이어야 할까?
04Chinchilla의 컴퓨트 최적 규칙은 트랜스포머 학습에 대해 뭐라고 하는가?
Hint
Chinchilla 규칙을 찾아보고 20이라는 숫자를 기억해 둬 — 그리고 요즘 학습은 왜 그걸 안 지키는지도.
댓글 0
🔔 답글 알림 (로그인 필요)로그인 — 댓글을 남기려면 로그인해 주세요.
아직 댓글이 없어요. 첫 댓글을 남겨보세요.