퀴즈 · 4 questions
🤖 mlx-lm — Mac에서 LLM 돌리기
불러오기부터 프롬프트, 스트리밍, 샘플링, 서빙까지
Level 0호기심
0 XP0/51 lessons0/15 achievements
0/100 XP to next level100 XP to go0% complete
Quiz
01mlx-lm의
generate()와 stream_generate()는 실제로 어떻게 다를까?Hint
채팅 화면에는 어느 방식이 더 알맞을지 생각해.
02지시 학습 채팅 모델이 단순한 프롬프트에도
max_tokens를 채울 때까지 계속 생성해. 가장 가능성 높은 원인은 무엇일까?Hint
모델이 자기 턴 끝났다고 알려면 뭘 봐야 해?
03자연스러운 채팅 생성의 기본 구간으로 소개한 샘플링 조합은 무엇일까?
Hint
두 조절값 모두 적당하고 방어적인 조합이야.
04mlx-lm의 내장
mlx_lm.server가 알맞은 선택인 경우는 언제일까?Hint
내장 서버가 감당할 수 있는 요청 규모를 생각해.
댓글 0
🔔 답글 알림 (로그인 필요)로그인 — 댓글을 남기려면 로그인해 주세요.
아직 댓글이 없어요. 첫 댓글을 남겨보세요.