퀴즈 · 4 questions
🧱 트랜스포머 block
Pre-LN, RMSNorm, SwiGLU, residual — 이게 단위 세포야
Level 0토큰 세는 사람
0 XP0/94 lessons0/10 achievements
0/120 XP to next level120 XP to go0% complete
Quiz
01Llama와 Mistral의 FFN에서 쓰는 활성 함수는?
Hint
게이트를 쓰고, 가중치 행렬이 둘이 아니라 셋이야.
02모던 decoder-only LLM이 보통 쓰는 정규화 스킴은?
Hint
요즘 방식은 이래 — norm이 sublayer 앞에 오고, norm 자체도 원조보다 단순해.
03전형적 Transformer block에서 파라미터 대부분이 어디 있나?
Hint
'attention is all you need'라는 제목이 무색하게, 파라미터가 몰려 있는 자리는 거기가 아니야.
04Mixtral 8×22B가 forward pass당 사용하는 active 파라미터 수는?
Hint
총 파라미터 ≠ active 파라미터. routing의 K를 봐.
댓글 0
🔔 답글 알림 (로그인 필요)로그인 — 댓글을 남기려면 로그인해 주세요.
아직 댓글이 없어요. 첫 댓글을 남겨보세요.