Video
Why I Regret Making a 2D Virtual Character with Claude
2026.09.30
·YouTube·by Leon#AI#Claude#Codex#Live2D#Virtual Character
핵심 포인트
- 1생성형 AI 기술인 Codex와 Claude를 활용해 버추얼 캐릭터를 제작하려 했으나, AI의 한계로 인해 정밀한 파츠 분리와 메쉬 작업에 과도한 시간이 소요되었습니다.
- 240시간 이상의 반복적인 수정과 보정 작업을 거쳤음에도 수작업 대비 효율성이 현저히 낮았으며, 오히려 AI를 활용한 제작 방식이 기존 전문가의 외주 비용보다 더 큰 기회비용을 발생시켰습니다.
- 3최신 기술을 활용한 자동화 시도는 현재 수준에서 인간의 직접적인 작업보다 비효율적인 경우가 많으므로, 기술적 효용성을 냉정하게 평가한 뒤 제작 방식을 결정해야 합니다.
본 영상은 생성형 AI 도구인 코덱스(Kodex)와 클로드(Claude)를 활용하여 라이브 2D(Live2D) 버추얼 캐릭터를 제작하려는 실험적 시도와 그 한계에 관한 분석입니다. 작성자는 총 40시간 이상의 노동력을 투입하였으나, AI를 활용한 제작 방식이 수작업 대비 비효율적임을 실증적으로 증명하고자 했습니다.
1. 제작 환경 및 기술적 구성
작성자는 Node.js 및 npm 기반의 터미널 환경에서 코덱스 CLI를 설치하여 이미지 생성 및 리소스 조달을 자동화했습니다.- 연동 구조: 클로드의 코딩 기능을 활용하여 코덱스와 연동, 이미지 생성을 제어하는 워크플로우를 구축했습니다.
- 데이터 처리: 생성된 이미지를 바탕으로 파츠를 분리하고, 각 파츠 위에 매시(Mesh)를 형성한 뒤 디포머(Deformer)와 파라미터(Parameter)를 연결하여 가동 범위를 설정했습니다.
2. 핵심 방법론 및 리깅 프로세스
캐릭터의 움직임을 구현하기 위해 다음과 같은 복합적인 리깅 절차를 수행했습니다.- 데이터 재구조화: 초기 AI 생성 이미지가 인체 해부학적 구조를 무시한 결과물을 도출함에 따라, 구조를 단순화하고 트윈테일 캐릭터의 두상을 중심으로 파츠를 세분화했습니다.
- 보간(Interpolation) 기법: 고개의 회전 및 표정 변화를 구현하기 위해 정면, 좌우, 상하의 끝점(Extremity)을 정의하고, 그 사이의 중간 상태를 보간하는 방식을 채택했습니다. 이는 와 같은 선형 보간의 원리를 적용하여 자연스러운 움직임을 유도하는 과정입니다.
- 시각적 정합성 유지: AI 생성물과 원본 데이터 사이의 불일치를 해결하기 위해 수시로 캡처하여 클로드와 대조하는 루프를 구성했습니다.
- 물리 계산 연동: 머리카락, 리본 등 부속물에 물리 엔진의 가중치와 흔들림 파라미터를 연결하여 관성 효과를 부여하고, 가동 범위 이탈 방지를 위한 제약 조건을 설정했습니다.
3. 기술적 한계 및 결론
본 프로젝트를 통해 도출된 주요 분석 결과는 다음과 같습니다.- 비용적 비효율성: 전문적인 기술자가 수작업으로 진행할 경우 약 8시간 소요될 작업이 AI 생성 및 수정 과정을 거치며 40시간 이상으로 증가했습니다. 이는 AI를 활용한 보정 작업이 수작업 대비 높은 '비용의 역설'을 발생시킴을 의미합니다.
- 형태 왜곡 문제: 생성형 AI는 관절 분리 및 매시 최적화에 필요한 구조적 이해가 부족하여, 다각도에서의 인체 비례를 완벽하게 유지하기 어렵습니다.
- 결론: AI 기반의 자동화 도구는 현재 기술 수준에서 정교한 리깅 업무를 대체하기보다는, 원론적인 작업 흐름을 저해하는 요소가 더 많습니다. 따라서 특정 부분에 국한된 자동화 도입을 고민하되, 전체적인 제작 효율성을 위해 전문가에게 외주를 맡기는 것이 경제적·품질적 측면에서 우월하다는 점을 강조합니다.