기록인 늦은 내용. 해당 내용은 8월20일에 퇴근하고 시작했다가 21일 마무리하였다. 분량이 많은 내용이라 나눠서 업로드를 하게 될 것 같음. 이미 8월에 종료한 내용임. 이 시도를 통해서 비디오 생성쪽은 좋은 백본 모델이 아니더라도 어떻게 조합하느냐에 따라 결과 차이가 많이 난다는 것을 알 수 있었다. 즉, 워크플로 구성과 그 노하우를 어떻게 관리하냐라는 고민이 되는 것이었음.

배경

계기는 어떤 다른 게시판에서 ChatGPT로 gif 반복재생 이미지를 만들 수 있다는 것을 보고 이전에 특정 버튜버 캐릭터의 비키니를 입고 해변에 있는 이미지를 산들바람에 흩날리는 것을 만들면 괜찮겠다는 생각이 들어서 ChatGPT로 시도했지만, 자연스러운 움직임을 만들어 낼 수 있는 많은 프래임에 대해서 잘 생성을 하지 못 했었다. 당시 기준 헤르메스도 막 구축한 터라 ComfyUI와 연결하여 사용하면 되겠다는 생각을 갖게 됨.

양해를 구하고 캐릭터를 사용한 버튜버의 공식 채널링크

방식

최근에 재활 느낌으로 컴퓨터 비전을 다시 보고 있지만, 그래도 배경지식은 있는 편이다보니, 눈깜박임, 머리카락과 기타 캐릭터의 일부분 흔들림, 배경 움직임(파도, 나무, 그림자) 이런 순서로 진행을 해나감. 웜본 이미지는 해당 버튜버에게 양해를 구하고 생성된 것을 원본으로 삼아서 진행함

최종 결과

먼저 원본과 최종 결과를 보면 아래와 같다.

원본 이미지	반복재생 이미지

헤르메스 에이전트

나중에 툴 부분에 기록하겠지만, 헤르메스 에이전트에 Codex-CLI 을 연결시키고 나서 이 에이전트에게 ConfyUI가 구동중인 내부망을 통해서 API로 핸들링을 하는 방식으로 진행하였음. 이는 마치 상용 동영상을 생성하는 것과 비슷하지만, 알아서 해주기 보다는 구체적으로 어떤 모델을 사용하고 어떤 방식으로 생성을 할지 계획을 같이 세우면서 진행 했다.

상용 비디오 생성을 사용하면 그냥 프롬프트 배달이 되기 때문에 공개된 비디오 생성 모델 등을 활용하여 진행 하였다. 물론 시행착오를 개인 위키용으로 사용하는 북스택에 기록하면서 진행하도록 했다. 이는 나중에 비슷한 반복 재생영상을 만들 경우 재사용이 가능한지를 궁금하기 때문에 실험으로 남긴 것이다.

눈 깜박임

초기 약 2초내외로 반복재생 동영상을 만들고, 각 캐릭터 부위 머리카락, 끈, 눈을 지목했었음. 원래 눈깜박임은 의도하지 않았던 것으로 기억함.

필요한 모델

GPT5.6-luna 가 ComfyUI를 제어하고 Wan2.2 I2V A14B FP8 를 사용했다.

ComfyUI/models/
├── diffusion_models/
│   ├── wan2.2_i2v_high_noise_14B_fp8_scaled.safetensors
│   └── wan2.2_i2v_low_noise_14B_fp8_scaled.safetensors
├── text_encoders/
│   └── umt5_xxl_fp8_e4m3fn_scaled.safetensors
└── vae/
    └── wan_2.1_vae.safetensors

ComfyUi 워크플로워

[##_File" filename="wan22-beach-subtle-loop-api.json" size="3.4 kB"/>

최초 캐릭터 눈 깜박임 반복 재생

헤르메스는 절제된(?) 움직임을 성공적으로 생성했다고 하지만, 사람눈에는 아무리 봐도 눈만 깜박인다.

전체 움직임 설계

본격적으로 반복 재생 이미지를 만들기 전에 어느영역을 어떻게 움직이게 할 것인지 계획을 세운 이미지로 ComfyUI로 작업하기 전에 ChatGPT5.6-sol 이 먼저 만들어준 이미지이다. 해당 이미지도 헤르메스에게 전달하여 참조하고 진행하기 시작하였다.

여기서도 보면 눈깜박임은 요구하지 않았었다. 그리고 호흡으로 인한 움직임은 원래 캐릭터의 상체만 위아래로 움직이는 것으로 진행했지만, 여기서는 그런 내용이 없다.

여담

중간 산출물 이미지도 워낙 많다 보니 나눠서 기록을 하게 됨. 이 내용작성하면서 처음부터 기록을 잘 안남긴 것에 대해서 후회를 하고 있음.