퀴즈 · 5 questions
🧱 Dense Models — 기본 frontier
모든 토큰이 모든 파라미터 활성화 — 작동하는 가장 단순한 거
Level 0Scout
0 XP0/41 lessons0/12 achievements
0/100 XP to next level100 XP to go0% complete
Quiz
01'Dense' 모델의 정의 속성은?
Hint
*얼마가 발화하는지* 의 문제, 얼마가 존재하는지 아님.
02Llama 3.1 405B 는 공개된 가장 큰 dense 모델 중 하나. 토큰당 대략 몇 개 파라미터 활성화?
Hint
Lesson 정의를 literal 하게 읽어.
03Gemma 2/3 가 dense backbone *안* 에 도입한 효율 혁신은?
Hint
바뀌는 건 attention shape, 모델이 sparse 인지 아닌지 아님.
04MoE 대비 dense 가 일반적으로 BEST 선택인 시나리오는?
Hint
Tooling 이 어디서 가장 mature 한가?
05다른 lab 의 두 dense 모델 모두 ~14B, GQA + RoPE + SwiGLU 사용. 사용감이 달라. 차이가 사는 가장 가능성 높은 축은?
Hint
같은 architecture, 다른 레시피.
댓글 0
🔔 답글 알림 (로그인 필요)로그인 — 댓글을 남기려면 로그인해 주세요.
아직 댓글이 없어요. 첫 댓글을 남겨보세요.