퀴즈 · 5 questions
🧱 Dense 모델: 프런티어의 기준선
모든 토큰이 모든 파라미터를 쓰는 가장 단순한 방식
Level 0정찰자
0 XP0/41 lessons0/12 achievements
0/100 XP to next level100 XP to go0% complete
Quiz
01Dense 모델을 정의하는 속성은 무엇일까?
Hint
파라미터가 얼마나 존재하는지보다 토큰마다 얼마나 켜지는지를 봐.
02Llama 3.1 405B는 공개된 대형 Dense 모델이야. 토큰마다 파라미터가 얼마나 활성화될까?
Hint
Dense의 정의를 그대로 적용해.
03Gemma 2와 3가 Dense 백본 안에 도입한 효율화는?
Hint
바뀌는 건 어텐션의 범위이지 FFN의 희소성 여부가 아니야.
04MoE보다 Dense가 대체로 더 좋은 선택인 경우는?
Hint
미세 조정 도구가 어느 구조에서 가장 성숙했는지 생각해.
05서로 다른 연구소의 14B급 Dense 모델 둘이 GQA, RoPE, SwiGLU를 함께 쓰는데 체감은 달라. 가장 가능성 높은 차이는 어느 축일까?
Hint
아키텍처가 같다면 학습 레시피를 봐.
댓글 0
🔔 답글 알림 (로그인 필요)로그인 — 댓글을 남기려면 로그인해 주세요.
아직 댓글이 없어요. 첫 댓글을 남겨보세요.