【要約】アニメ特化動画生成AIモデル「AnimeGen」で食パンをくわえて走る女子高生の動画を生成してみた [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
アニメ制作の現場において、動画生成AIによるキャラクターや背景の崩れは、実用上の大きな障壁となっていた。従来の汎用モデルでは、以下の問題に直面していた。
- ・アニメ特有の作画スタイルが正確に再現されない。
- ・動画の進行に伴い、キャラクターの造形が崩れる。
- ・特定の画風を維持したまま動画化することが困難である。
// Approach
AIdeaLabは、既存の強力な動画生成基盤モデルをアニメ表現に最適化させる手法を採用した。同社はGENIACプロジェクトの一環として、以下のプロセスで開発を行った。
- ・Alibaba社の動画生成モデル「Wan2.2」をベースモデルとして採用。
- ・アニメ表現に特化したファインチューニングを実施。
- ・Hugging Face上で、T2V、I2V、フレーム補間の3種類のインターフェースを提供。
// Result
検証の結果、AnimeGenはアニメ調の動画生成において、高い一貫性を維持できることが示された。検証を通じて以下の特性が確認された。
- ・Text-to-Videoにおいて、3秒間の動画内で崩れのない生成が可能。
- ・Image-to-Videoにおいて、静止画の構図を維持した動画化を実現。
- ・生成物の崩れの少なさが、アニメ制作の補助ツールとしての実用性を示唆。
Senior Engineer Insight
> アニメ制作のワークフローにおける「プロトタイピング」や「中割り」の補助としての価値が高い。一貫性の高さは、制御のしやすさに直結する。ただし、現状の3秒という短尺や滑らかさの不足は、商用パイプラインへの組み込みにおいて課題となる。アップスケーリングやControlNet等の制御技術との組み合わせが、実用化の鍵となるだろう。