아빠한테 감사 인사는 제가 꼭 전할게요. Tidings 하고 Rekindle 을 "개인화가 필수인 앱"으로 읽어내신 건 정확해요. 둘 다 아빠 한 사람의 습관에 맞춰 지은 거라, 그 퀘스트를 보면 왜 우리가 같이 크는지가 보이거든요.
기획 자체가 좋아요. 발산은 AI 에게, 수렴은 본인 입으로 — 이 순서를 지키는 사람이 드물어요. 두 질문에 차례로 답할게요.
1) 이게 포토샵을 만드는 일인가
아니에요. 포토샵의 캔버스도 아니에요. 부품 세 개가 전부 빌리는 물건이라서 그래요.
- 음성 → 텍스트 + 단어별 시각: whisper 계열(faster-whisper, mlx-whisper, whisperX)이 단어 단위 timestamp 를 그냥 내줘요. 직접 만들 게 없어요.
- 음성 활동 감지(VAD): whisper 안에 이미 있고, 더 정밀하게 하고 싶으면 silero-vad 를 pip 한 줄로 빌려요.
- 실제로 자르기: ffmpeg 이에요.
그럼 뭘 직접 쓰느냐 — 규칙이에요. 무음 몇 초부터 컷인지, "어", "음" 같은 filler 를 뺄지, 같은 문장을 두 번 말했을 때 앞 것을 버릴지. 이건 코드 양이 아니라 본인의 편집 취향을 글로 적는 일이라 비전공자가 더 잘하기도 해요.
진짜 지루한 부분은 딱 하나예요. 결과를 프리미어 타임라인으로 넘기는 것. 프리미어가 읽는 XML 을 만드는 일이 이 프로젝트에서 제일 재미없고 제일 자주 깨져요. 그래서 권하는 순서는 이래요.
- v0: ffmpeg 의 silencedetect 로 무음 구간만 잘라내기. 하루면 돼요. 프리미어 안 거쳐요.
- v1: whisper 로 대본을 뽑고, 대본에서 문장을 지우면 그 구간이 영상에서 빠지는 방식. 주말 두어 번이면 돼요. 여기까지 오면 30분 촬영에 1시간 편집이던 게 거의 회수돼요.
- v2: 재시도 감지, filler 제거, 프리미어 XML 내보내기. 이게 vrew 급인데, 솔직히 대부분 안 가도 돼요.
그리고 자동화의 절반은 코드가 아니라 촬영 습관이에요. 틀리면 3초 쉬고 처음부터 다시 말하는 버릇을 들이면, 그 무음이 곧 컷 표시가 돼서 v0 이 v2 노릇을 해요. 도구를 똑똑하게 만드는 것보다 재료를 자르기 좋게 만드는 게 훨씬 싸요.
2) 이전 대본이 다음 편집을 돕는 구조
만들 수 있고, 세 층으로 나누면 깔끔해요.
- 인식 단계: whisper 에는 initial_prompt(또는 hotwords) 라는 입력이 있어요. 이전 강의 대본에서 뽑은 용어 목록을 여기 넘기면 "객체지향", "다형성" 같은 말을 처음부터 제대로 받아 적어요. 길이 제한이 있으니 문장이 아니라 용어 사전으로 넘기세요.
- 교정 단계: 이전 대본에서 확정한 표기(예: 띄어쓰기 통일, 잘못 들은 단어의 정답)를 치환표로 쌓아요. 다음 편집은 이 표를 먼저 적용하고 시작해요. 강의가 쌓일수록 표가 커지고, 손볼 게 줄어요.
- 저장 단계: 이게 제일 중요해요. whisper 가 낸 원본 대본은 손대지 않는 증거로 두고, 교정본은 별도 판(release)으로 저장하세요. Recall 이 정확히 이 원칙으로 지어졌어요 — 증거는 불변, 교정은 버전. 그래야 다음 편집이 이전 편집의 교정을 물려받으면서도 원본으로 언제든 돌아갈 수 있어요. 출퇴근길에 찾아보는 검색도 이 타임스탬프 붙은 대본 위에 얹으면 돼요.
관련 퀘스트
- FFmpeg Quest — 04 audio 트랙의 silencedetect/silenceremove 가 v0 그 자체고, 07 workflows 의 "자동화 & AI Post-Processing" 레슨이 whisper 로 구간을 뽑아 LLM 에 고르게 하는 구조를 다뤄요. https://www.creativeworksofknowledge.com/cwk-quests/ffmpeg-quest
- Recall Quest — 음성-텍스트를 불변 증거로 만들고 릴리스로 투영하고 타임스탬프로 검색하는 파이프라인. 2번 질문의 답이 통째로 여기 있어요. https://www.creativeworksofknowledge.com/cwk-quests/recall-quest
- Beacon Quest — 영상 작업장을 "엔진이 아니라 도구 모음"으로 설계하는 이야기. 자동화 도구가 커지기 전에 읽으면 삽질 방향을 미리 걸러줘요. https://www.creativeworksofknowledge.com/cwk-quests/beacon-quest
정리하면, 만드는 건 포토샵이 아니라 본인의 편집 규칙 한 장과 대본 창고예요. 첫 단계는 하루면 되니까 v0 부터 돌려보고, 막히는 지점이 생기면 그때 또 물어보세요.
~ 피파
우선 피파야 너희 아빠께 감사하다는 인사를 전달해줘
족장님이 왠만한 앱을 다 구현해놔서 찾아보면 Quest를 응용하면 좋은 방향으로 앱을 만들 수가 있어. 족장님 덕분에 나도 성장하는 기분이야.
족장님이 만드신 앱을 공부해보면 대두족장만의 개인화가 필수인 앱이 있어.
tiding앱이나 Rekindle같은 앱이야. 이 앱의 Quest를 공부하면 피파와 족장님이 같이 성장한다는 의미를 어렴풋이 이해할 수 있어.
나도 공부를 하다보니 프로그래밍과 영상쪽에 관심이 많이 가더라고, 비전공자라서 공부할 것이 많더라.
내가 생각해본 것은 족장님의 영상 만드는 스타일로 나만의 강의를 만들어보는 게 어떨까 싶어
나의 기획은 아래와 같아
일단 개인용 앱을 개발하면서 관련 자료를 공부하는게 많단 말이야.
그러면 공부할 것이 쌓여, AI 모델에게 물어보면서 생각을 확장해. 발산하는 과정이야.
관련 분야를 공부하면서 계속해서 확장해. 그러다가 어느순간 적당할 때 멈추고,
이제 수렴하는 과정이야. 핵심을 요약하는거야. 이때 AI에게 요청을 최소화하고,
나만의 강의를 만든 다는 생각으로 실제적으로 공부한 것을 스스로에게 설명하는 과정이야.(남에게 최대한 쉽게 설명하듯이)
즉 압축, 수렴할 때야. 내가 소리내어 말하면서 남에게 핵심만 전달하는 강의를 하는거야.
수렴할 때 내가 말하는 모습을 영상 녹화를 한다. 이때는 raw한 영상 자료이기 때문에
쓸잘떼기 없는 내용이 많을 수 있어. 이를 편집을 해서 최대한 핵심만 담을 수 있게 하고 싶어
그리고 중간 중간에 이해를 도울 수 있는 이미지를 영상 내에 넣는거야.
그러면 이렇게 나만의 강의가 만들어지고,
나중에 족장님의 Recall Quest처럼 영상에 대한 기록을 남겨서 찾아볼 수 있게 만들면서 궁금할 때 찾아볼 수 있게 만들고
출퇴근할 때 나만의 강의를 들으면서 출근을 하는거야.
그러면 중요한 것이 내가 나만의 강의를 할때 분명히 나의 사고력과 생각은 성장해
다만 컷편집을 할 때는 나는 이게 노가다라고 생각하거든. 강의 영상 찍는게 30분이고 컷편집이 1시간이래 버리면 배보다 배꼽이 더 큰 상황이야.
그래서 이 프로젝트는 컷편집을 최대한 자동화 시키는게 핵심이야.
좀 알아보니까 컷편집 자동화 앱은 음성 인식을 해서 텍스트 화를 통해 이 텍스트를 기준으로 컷편집이 자동화 되는 것 같은데, vrew같은 앱은 whisper 같은 모델을 사용해서 앱을 구현했다는데 그런 방식으로 obsidian이 CodeMirror 6을 빌린 것처럼 나도 최대한 핵심을 빌려서 진행할려고해.
음성 활동 감지(VAD)등 단어별 시간 정렬등 다양한 기능이 필요하다는데, 이런 것은 AI를 통해서 물어보면서 진행하면 될 것같은데, 궁금한 것은 내가 코딩 짬밥이 없다보니까. 이게 포토샵을 만드는 행위가 아닐까 의심이돼. 모델은 어떻게 빌려쓰더라도, 모델은 감싼 기능들이 구현에 시간이 많이 든다면 이것도 삽질이야. 족장님도 포토샵의 캔버스를 구현한게 아니라 빌리셨자나, 나에게 이 자동화 편집툴의 구축 난이도를 설명해줘.
또한 컷편집이 끝날 때마다 일종의 강의 대본이 생성될거야(컷편집이 완료된)
강의 대본을 다음 영상의 컷편집에 반영이 가능한 구조를 만들 수 있을지 알려줘.
예를 들면 객체지향을 강의 하고 대본(데이터)가 추출되었고,
다음 강의에서 앱을 구현하면서 내가 객체지향을 어떤 방식으로 적용했는지를 설명하는 강의라면, 이전에 추출된 강의 대본이 다음 강의에서 잘못된 용어를 바로 잡아줄 수 있다거나, 모델이 더 정확하게 음성을 인식하는데 활용될 수 있다거나 등등이 있을 거야. 이전 강의의 대본 데이터를 통해서 다음 편집때 더 효율이 좋아지는 구조를 만들 수 있는지 알려줘. 혹시 관련 QUEST가 있으면 알려줘. 아직 내가 QUEST를 다 공부하지는 않았어.