AIは絵コンテに従いすぎる。太めに描いたゴリラが、太いまま出てきた

こんにちは、よかっぱです。

いま、チーム制作しているアニメで、初めてオープニング映像を担当しています。
オープニングは結構自由に作ってよくて、本編に沿った前振り的な物語でもいいし、キャラ紹介でもいいし、ミュージックビデオ風でもいい。
ぼくは今回、本編に沿った物語風にしました。

で、絵コンテからAIでアニメにする、というのに今回初めて挑戦しています。
今まで見てきたれんとんさんのAIアニメ教材（PR）、またべえさんのストーリーボード式の投稿、松丸彗吾さんのライブ配信、スタジオで使っているゆーき丸さん作の編集ツール、自分がこれまでやってきた手順——全部ごちゃ混ぜにしつつ、頑張って作っている感じです。

初めてだから、めっちゃ詰まりました。
今日はその現場で起きた「AIは絵コンテに従いすぎる」話と、自作の操作画面がどんどんカオスになっていく話です。

太めに描いたゴリラが、太いまま出てきた

今回のオープニングでは、キャラたちが動物園に行った話を見せようと思っています。
絵コンテはすごいラフな走り描きで、たとえば左側に主人公がいて、右側にゴリラがいる、くらいのもの。
この走り描きの絵コンテも、AIに作ってもらっています。
たとえばこんな感じで、右のコマが今回問題になったゴリラです。

生成のやり方はこうです。
ラフに描いた絵コンテと、ゴリラなり主人公なりのちゃんとしたキャラの参照シートと、背景を渡す。
それに対してプロンプトで「動物園のゴリラの園舎の中にゴリラがいる。手前側で主人公がガラス窓に顔をペタッとくっつけて、じーっと覗いている」みたいに指示する。
絵コンテの構図は参考にして、絵柄は絵コンテに縛られないでね、という渡し方です。
実際の画面はこんな感じ。左側が渡す素材（絵コンテ・キャラ参照・背景）、右側がプロンプトです。

そうしたら、ラフでぼやっと太めに描いたゴリラが、本番でも太めのまま登場しました。
絵柄はちゃんとしたゴリラになっているんだけど、サイズ感だけすごい太めのまま出てきて、1、2秒経ってからシュッと普通のゴリラの体型に変わる。

いや、初めから普通にしててよ笑。

矢印の先へ、カメラがぐんぐん寄っていった

もうひとつ。
カメラワークのつもりで、絵コンテに「こっちにズームインするよ」という矢印を描いたんですよね。

そうしたら、矢印を向けたあたりの床へ、実際にカメラがぐんぐん寄っていきました。

ズームインの矢印の「位置」までちゃんと従っちゃうのか、という発見でした。

棒人間が実体化して、土台になった

太めに描いたゴリラがそのまま引用されちゃったので、今度は構図を伝える記号のつもりで、ゴリラも人間もみんな棒人間にしてみました。
これは割といい感じになったりもしたんです。

ただ一個。
寝っ転がっている主人公を、こんなふうに棒人間で示したんです。

そうしたら、棒人間が実体化して、金属製の土台みたいなものになって、その「棒人間土台」の上にキャラが寝そべっているものが生成されました。頭の後ろにあるのが、実体化した棒人間です。

たぶん、人間の記号だと認識しなかったんですね。
棒人間を「そこにあるもの」として描いてきちゃった。

学びとしては、AIには「参考」と「指示」の区別がないということです。
「参考として」と渡しても、渡したものは全部ミックスされてしまう。

こんなふうに詰まっていると、絵コンテからのAIアニメ制作って実際どうなんだろう、と思ったりします。
そこで思い出したのが、冒頭のライブ配信の松丸さんです。
松丸さんは15分のフルAIアニメも個人制作されていて（すごい）、投稿を見ると制作費は約20万。
ためしに手元の単価で計算してみたら、仮に全カットが一発OKだったとして、15分ぶんの生成費は1.5万〜4万円くらいです。
差額の十数万円は、たぶんやり直しと、声や音楽など動画以外の生成費。
つまり、あのレベルの人でも、おそらく一発OKでは進んでいなくて、大量の試行錯誤にお金を払っている。
ぼくが詰まりまくっているのも、そういう工程だからなんだと思うことにしました。

操作画面がどんどんカオスになっている

もうひとつ、別の話。
絵コンテからAIでアニメにするために自作している操作画面が、どんどんカオスになっています。

いまぼくはClaude Codeというもので指示を出して生成しているんですけど、Claude Codeは基本、文字でやりとりするので、見た目がわからないんですよね。
何を生成したのか、何を参照させているのか、OKを出したものがどれなのか。
だから画面の右側に、HTMLの操作画面みたいなものをAIに頼んで作っています。
こういうやつです。

で、「あれもこれも」と足していたら、カオスになってきちゃって。

最初はSeedance 2.0という、いきなり動画を作るものだけ入れていたんですけど、ボツになったところをスポット的に直すにはViduとかでやった方がよくて、そのためにはまず静止画の生成をしたい。
だから静止画の生成ができるようにして、さらにその静止画をプロンプトで編集できるようにして…。
などなど、いろいろ追加していったら、気づいたらUI（使う人が触る画面）がぐちゃぐちゃになっちゃって。
便利機能を足すほど、道具が使いにくくカオスになっていくw

お金の事情も効いています。
falというサービスを通してSeedanceやViduを使っているので、生成のたびに課金されます。
Seedanceは秒数が長いテイクをやり直すほど、お金がかかってくる。
本当は、絵コンテの1から5までを15秒とか一括で生成して、「2カ所くらい違うな」となったら全部やり直す、を繰り返せばいいのかもしれない。
でもそれをやると、すごい金額になっちゃう。
だからボツだったところだけスポットで直す形になっていく。
仕組みが自然と「やり直しガチャを減らす」方向に育っていくんです。
このやり方が本当にいいのだろうか？という感じではありますね。

これ、配れるのか問題

この操作画面まわりの道具一式、Claude Codeで作っているので、スキルとして人に渡せるはずなんです。
初めは「これを作ったら、一緒に制作しているスタジオのメンバーに渡して使ってもらえるのかな」なんて思いながら作り始めました。

でも作れば作るほど、「これ、作った本人にしか使えなくない？」というものができてきています。
ぼくはあんまり、人が使いやすいツールを作るのが上手じゃないかもしれない。

だから「誰でも使いやすいもの」を作るんじゃなくて、半端な状態だけど「こんな感じでやってるんで、よかったら使いやすいようにカスタマイズしてみて」と渡しちゃった方がいい気がしています。

オープニングは完成した。で、監督レビュー

ちなみにオープニング自体は、昨日全部できました。
480pの安い設定でSeedanceを回して、最後に無料のAI（Real-ESRGAN）で3倍にアップスケールしています。

で、監督に見てもらったら、ちょっと冗長なのでカットを増やした方がいい、オープニングのテンポに合ったカット割りの方がいい、音ハメも甘い、という話があって。
いや、本当にその通りだったんですよ。

オープニングにストーリー系のものをつけるのが初めてだったから、「オープニングのテンポに合ったカット割りでやる」という意識が薄かった。
普通のワンシーンを作るようなイメージで作っちゃったせいで、多分間延びしたんだと思います。

それでも、絵コンテからの制作は続けてみる

慣れないせいなのか、そもそもこの作り方が向いてないのか、よく分かんないです。
でも、もうちょっと絵コンテから生成するのは試していきたいと思っています。

今回はオープニングで曲がすでにある状態だったので、ボイスや効果音は関係なかったんですけど、Seedance 2.0は効果音もつけられるし、音声も「この声で」と指定したら喋ってくれるみたいなので。
本編を絵コンテ制作で試したら、結構効率が上がるんじゃないかなというのが楽しみです。

皆さんは、絵コンテやラフをAIに渡して、「そこまで再現しなくていいのに」となった経験はありますか？
よければコメントで教えてください。

====

ぼくは、AIアニメやゲームを作りながら考えたこと、つまずいたことの記録をSubstackで配信しています。
うまくいった話だけでなく、迷いや、つくる過程で気づいたことも。
ひとりでつくるのに疲れたとき、すこし前を向ける記事を届けます。
次の記事も読みたい方は、無料登録してもらえるとうれしいです。

https://substack.com/@yokappa

====

ではでは〜。