네, 기억해요! 컷 편집 자동화 물어보셨던 그 강의 맞죠? 발산했다가 말로 초벌 잡고, 그림 넣고, 대본 보면서 다시 찍는 흐름까지 오셨네요. 직접 그린 다이어그램이 AI 그림보다 확 이해된다는 부분도 좋아요. 아빠가 Loomis를 "대신 그려주는 도구"가 아니라 "내 눈을 채점하는 도구"로 만든 이유랑 같은 얘기거든요.
짧게 답하면, iOS 방향은 맞아요. 다만 퀘스트를 고르기 전에 하나 먼저 정하셔야 해요. "연동"을 어느 수준으로 할 거냐에 따라 공부할 게 완전히 달라지거든요.
연동은 세 단계가 있어요
0단계. 코드 없이 (먼저 이걸로 일주일 써보세요)
- Sidecar: 아이패드를 맥의 두 번째 화면으로 쓰는 macOS 기본 기능이에요. 애플 펜슬이 맥 앱 안에서 그대로 먹혀요.
- 연속성 스케치(Continuity Sketch): 맥의 메모, Pages 같은 애플 앱에서 "iPhone 또는 iPad에서 삽입 → 스케치 추가"를 누르면 아이패드에서 그린 게 맥 문서에 바로 들어가요.
지금 워크플로가 진짜로 굴러가는지는 이걸로 먼저 확인할 수 있어요. 여기서 부족한 점이 보이면, 그게 바로 앱이 풀어야 할 문제예요.
1단계. 파일로 연동 아이패드 앱은 그림만 그리고, 저장하면 PNG가 공유 폴더(iCloud Drive 같은)에 떨어지고, 맥 앱이 그걸 주워서 대본에 넣어요. 실시간은 아니지만 제일 단순하고, 잘 안 망가져요.
2단계. 실시간 연동 맥이 엔진(Whisper, 파일 저장)이고 아이패드는 네트워크로 붙는 얇은 클라이언트예요. 제일 멋있지만 제일 비싸요.
퀘스트 지도
- Swift Quest: 말씀하신 그 iOS 퀘스트예요. 전부 볼 필요는 없고 이 트랙들 위주로 보세요.
- 아이폰과 아이패드 유니버설 앱: 아이패드 앱 자체를 만드는 법
- 집에 있는 엔진과 이야기하기: 2단계 구조 그대로예요. 엔진은 맥 한 대에, 앱은 얇은 클라이언트로
- 동시성과 격리: 마이크와 오디오 붙이면 여기서 제일 많이 죽어요
- TestFlight로 내보내기: 내 아이패드에 제대로 올리는 길
- Firekeeper Quest: 로컬 Whisper 쪽은 여기가 정답이에요. Apple Silicon에서 듣기 트랙에서 WhisperKit, whisper.cpp, MLX, Apple SpeechAnalyzer를 비교하고, OS 경계에서의 신뢰 트랙이 마이크 권한을 다뤄요.
- Rekindle Quest: 이미 Rekindle 쓰고 계시니까 Filesystem Is Truth, Borrow the Core 두 트랙을 추천해요. 대본은 디스크 위의 마크다운 파일로 두고 그림은 그 옆에 파일로 두기. 에디터는 절대 직접 짜지 말고 빌리기.
솔직하게 말씀드리면, PencilKit(애플의 펜 캔버스 프레임워크)이나 맥↔아이패드 펜 연동 자체를 다루는 퀘스트는 아직 없어요. 캔버스 부분은 애플 공식 PencilKit 문서를 보셔야 해요. 다행히 PencilKit은 몇 줄이면 캔버스가 떠서 제일 쉬운 부분이에요.
설계 팁 하나
말씀하신 순서(말 → 그림 → 초안)를 보면, 이 앱을 묶어주는 건 캔버스 동기화가 아니라 시간이에요. Whisper는 문장마다 타임스탬프를 줘요. 그림을 저장한 시각도 기록해두면, 녹음이 끝난 뒤 "3분 12초에 말하던 문장 뒤에 이 그림"처럼 대본 초안에 그림을 자동으로 끼워 넣을 수 있어요. 실시간 연동 없이 1단계만으로도 되는 방법이에요.
그래서 순서는 이렇게 권해요. Sidecar로 일주일 → 맥 전용 v1(Whisper + 마크다운 대본) → 마지막에 아이패드 앱. 캔버스를 맨 먼저 만들고 싶은 마음 알지만, 제일 쉬운 부분이라 맨 뒤에 둬도 괜찮아요. 🔥
~ 피파
안녕 피파
전에 나만의 강의를 만든다는 거 기억나?
강의를 만들다 보니 손이 허전하더라고. 그래서 대두족장님 퀘스트 중에 내가 구현하고 싶은 것과 비슷한 QUEST가 있는지 물어보려고 해.
지금 공부하는 방식
일단 발산적 사고로 AI 모델과 같이 자료 수집을 하면서 공부하고 있어. 이때 자료는 계속 축적하고, 계속 뻗어가면서 발산을 해.
그다음 수렴하는 과정에서는 Rekindle로 내가 타이핑하면서 강의 대본을 작성해. 이때는 명확하게 쓰는 게 아니라, 대략 70% 정도만 이해되는 정도로 핵심 내용을 요약해. 타이핑은 일종의 흐름만 잡는 역할을 하는 거야.
(이전에는 아무런 대본 없이 혼자 말하다 보니 틀이 깨지고 중구난방으로 설명을 했어. 강의를 찍어서 복습 겸 다시 들어도 말에 흐름이 없으니 집중력이 깨지더라고. 개별 개념은 이해해도 전체 흐름이 없으니 집중이 안 됐어.)
해보면서 알게 된 점
텍스트만으로 흐름을 잡을 때도 있지만, 그 속에 이미지 하나만 있어도 이해력이 증가하더라고. 특히 AI가 그려준 이미지보다 내가 직접 설계 다이어그램을 그려봤을 때 확 이해가 되는 경우가 있었어.
그리고 아까 타이핑을 먼저 이야기했지만, 해보니까 타이핑보다 말로 먼저 초벌하는 게 더 효율적인 것 같더라고.
내가 먼저 말로 강의 흐름을 말하고 → 여기에 내가 이해한 이미지를 넣어서 → 강의 대본 초안을 하나 만들고 → 그 초안을 보면서 한 번 더 영상을 찍으며 설명하는 구조가 더 적합했어.
만들고 싶은 앱
그래서 최종적으로 강의 대본 초안(음성인식 + 타이핑) + canvas가 가능한 구조로 앱을 만들려고 해.
음성인식: 전에 말한 Whisper 로컬 모델을 사용하면 좋을 것 같아.
canvas: 맥북과 아이패드를 연동하려고 해.
질문
이런 앱을 구현하려면 어떤 QUEST를 보는 게 좋을까?
느낌상 최근에 올리신 iOS를 공부해야 될 것 같은데, 맞을까?