一瞬でラフ画を線画に！ 開発した早稲田大学にグラフィックス研究の未来について聞いてみた‐前編‐
2016.11.18
2016年、早稲田のとある研究がクリエイターの間で大きな話題となりました。それはAI（機械学習、ディープラーニング）を活用して、ラフ画をAIが線画に自動変換する技術です。
今回の記事は、多くのクリエイターに衝撃を与えた「ラフスケッチの自動線画化」に迫るべく、本研究を行っている早稲田大学研究院助教シモセラ・エドガー氏と飯塚里志氏に、この研究のきっかけや将来の展望について伺いました。
前編では本研究のきっかけと課題を中心に語っていただきました。 引き続き、後編では自動線画研究の展望について語っていただきます。
略歴
シモセラ・エドガー 早稲田大学研究院助教
スペインのBarcelonaTech工学科 卒業。Institut de Robòtica i Informàtica IndustrialでPh.D.を取得。2015年8月より早稲田大学に勤務。
機械学習とコンピュータビジョンの研究に従事。これまでの研究成果に、1枚の画像からの人間の3次元姿勢推定、衣服のファッション性の推定、画像特徴量の抽出、ラフスケッチの自動線画化などがある。最近はコンピュータグラフィクス分野の研究に取り組んでおり、特に機械学習を用いてイラスト作成を支援するツールについて研究を行っている。
飯塚里志 早稲田大学研究院助教
筑波大学大学院システム情報工学研究科 博士後期課程修了。日本学術振興会特別研究員（DC1）を経て、2015年4月より早稲田大学に勤務。
コンピュータグラフィクス、特に画像生成・編集の研究に従事。主な研究テーマに、1枚の画像からの3次元モデルの生成、画像中の物体の経年変化の再現、白黒写真の自動色付けなどがある。近年は、ディープラーニングを用いて画像を生成する技術の研究に取り組んでいる。
自動線画化研究の未来とは？
―― アウトプットが自動で最終的な商品になる、ということはあるんでしょうか？
シモセラ
他のユーザーの入力も必要になりますし、難しいですね。いっぱい学習させたらできると思いますが……編集できないと、自分で描いていない感じになってしまいますからね。適当にラフスケッチを描いてボタンを押すだけで完成したら、「私何もやってないじゃん！」って（笑）
他のユーザーの入力も必要になりますし、難しいですね。いっぱい学習させたらできると思いますが……編集できないと、自分で描いていない感じになってしまいますからね。適当にラフスケッチを描いてボタンを押すだけで完成したら、「私何もやってないじゃん！」って（笑）
飯塚
あくまでクリエイターの支援が目的なので。その過程でラフから最終的なものを出すところまでやってみるのもいいかとは思いますが……。
あくまでクリエイターの支援が目的なので。その過程でラフから最終的なものを出すところまでやってみるのもいいかとは思いますが……。
シモセラ
そこはひとつの選択肢ですね。やろうと思っていますが、それが便利かどうかは別の問題。イラストを制作しているのが、「自分」ではなく「このモデル」になってしまう問題も出てきますし、全部AIに任せたらそのうちスケッチも不要になってしまうじゃないですか。そうなると人間が要らなくなってしまう……。
そこはひとつの選択肢ですね。やろうと思っていますが、それが便利かどうかは別の問題。イラストを制作しているのが、「自分」ではなく「このモデル」になってしまう問題も出てきますし、全部AIに任せたらそのうちスケッチも不要になってしまうじゃないですか。そうなると人間が要らなくなってしまう……。
―― 小説でもありましたよね。条件を入力するだけでできあがるものが。
シモセラ
小説の研究も興味深いですが、今の結果を見ているとまだまだ。ストーリーは面白くても、文脈などが足りないんです。文章はある程度正しいが、話になっていない。人間と違って前後の文章しか参照していないんじゃないでしょうか。
画像処理の研究に取り組んでいる私たちも、今の研究が進んだら小説に対応させるかも知れません。入力が文章で、出力は画像。入力は文章と画像で、出力はムービーといったことも考えられます。
小説の研究も興味深いですが、今の結果を見ているとまだまだ。ストーリーは面白くても、文脈などが足りないんです。文章はある程度正しいが、話になっていない。人間と違って前後の文章しか参照していないんじゃないでしょうか。
画像処理の研究に取り組んでいる私たちも、今の研究が進んだら小説に対応させるかも知れません。入力が文章で、出力は画像。入力は文章と画像で、出力はムービーといったことも考えられます。
―― 現在、漫画家やアニメーターと共同で動いていますか？
飯塚
イラストレーターの方から「必要なら提供しますよ」とご連絡もいただいていますが、今のところはまだ共同で動いてはいません。今後そういうこともやっていけたらいいと考えています。
イラストレーターの方から「必要なら提供しますよ」とご連絡もいただいていますが、今のところはまだ共同で動いてはいません。今後そういうこともやっていけたらいいと考えています。
―― アニメ制作現場の問題で、このツールを使うことで彼らの負担を減らすことも考えられます。線画化の後にアニメーターさんが手直しすると上手くいくでしょうか？
シモセラ
線画化と編集を同時に行えたらいいと思います。自動で線画化して、後で綺麗にするより、綺麗にしながら線画化する方がいいと。今のところは出力するだけですが、それに不満だったら「この結果は間違っている」と指導して矯正されていく感じですね。全自動のツールではなく、編集できるツールだと考えています。
目指しているのは「CLIP STUDIO PAINT」みたいなソフトを作ることで、支援＆イラスト制作のような、ツールだけじゃなくてこれとともに制作するという感じです。それが一番上手くいくでしょう。「CLIP STUDIO PAINT」などとの同時使用がいいかなと考えています。
また、先ほど文章についても話したように、「スカートをもっと長くしてください」みたいな文章を入れればスカートが自動で長くなる、ということも考えています。他にも画像上でスカートを引っ張って伸ばす、とか。できると思いますが、どうやってやるかは研究次第ですね。
線画化と編集を同時に行えたらいいと思います。自動で線画化して、後で綺麗にするより、綺麗にしながら線画化する方がいいと。今のところは出力するだけですが、それに不満だったら「この結果は間違っている」と指導して矯正されていく感じですね。全自動のツールではなく、編集できるツールだと考えています。
目指しているのは「CLIP STUDIO PAINT」みたいなソフトを作ることで、支援＆イラスト制作のような、ツールだけじゃなくてこれとともに制作するという感じです。それが一番上手くいくでしょう。「CLIP STUDIO PAINT」などとの同時使用がいいかなと考えています。
また、先ほど文章についても話したように、「スカートをもっと長くしてください」みたいな文章を入れればスカートが自動で長くなる、ということも考えています。他にも画像上でスカートを引っ張って伸ばす、とか。できると思いますが、どうやってやるかは研究次第ですね。
―― その場合だと、スカートをスカートと認識させることが必要ですか？
シモセラ
ちゃんと学習させると「これはスカート」という指導を使わずに認識できるようになります。
色付けの研究であれば、「こういう白黒写真はこういう色が付いた写真になる」と学習させたら顔認識ができるようになりました。「これが人間の顔」ということを教えていないのに、学習したんです。スカートの例と同じように、「これがスカート」「これが顔」と認識できるようになるといいかなと考えています。
今は簡単に話していますが、実際非常に難しいのでチャレンジしていきたいですね。
ちゃんと学習させると「これはスカート」という指導を使わずに認識できるようになります。
色付けの研究であれば、「こういう白黒写真はこういう色が付いた写真になる」と学習させたら顔認識ができるようになりました。「これが人間の顔」ということを教えていないのに、学習したんです。スカートの例と同じように、「これがスカート」「これが顔」と認識できるようになるといいかなと考えています。
今は簡単に話していますが、実際非常に難しいのでチャレンジしていきたいですね。
―― 他のツールと併用してアニメの「中割」を作成することはできるものでしょうか？
シモセラ
ちょっと試してみたんですが、意外と難しい。今は忙しくて新しい問題に挑戦する余地がなく……面白いテーマですが難しいですね。
日本のアニメと海外のアニメは大分違いがあって、日本のアニメはフレームレートが低い。わざとそうしている。三次元のモデルから作っているアニメもありますが、それもわざとフレームレートを低くしていますね。レンダリングすればすごく滑らかにできるが、そういう問題じゃない。だから日本の企業はあまり喜んでいないようなんです。誰も喜んでくれないのに、技術的には難しいという……。
ある論文の査読者の方によると、実は線画化の問題は海外の映画スタジオなども興味を持っているそうです。「まだ研究が進んでいない分野ですから、頑張ってください！」と言われました。
ちょっと試してみたんですが、意外と難しい。今は忙しくて新しい問題に挑戦する余地がなく……面白いテーマですが難しいですね。
日本のアニメと海外のアニメは大分違いがあって、日本のアニメはフレームレートが低い。わざとそうしている。三次元のモデルから作っているアニメもありますが、それもわざとフレームレートを低くしていますね。レンダリングすればすごく滑らかにできるが、そういう問題じゃない。だから日本の企業はあまり喜んでいないようなんです。誰も喜んでくれないのに、技術的には難しいという……。
ある論文の査読者の方によると、実は線画化の問題は海外の映画スタジオなども興味を持っているそうです。「まだ研究が進んでいない分野ですから、頑張ってください！」と言われました。
現学習データの９割が女の子、様々なテイストを揃えたい
―― モンスターなども学習できるんですか？
飯塚
データがあればできると思います。今回はそのデータがなかったので、女の子寄りになっていますが。モンスターなどのデータも沢山いただければ、それを学習して上手くいくようになると考えられます。
データがあればできると思います。今回はそのデータがなかったので、女の子寄りになっていますが。モンスターなどのデータも沢山いただければ、それを学習して上手くいくようになると考えられます。
シモセラ
少女だけではなく、もっと様々な絵を揃えたいですね。モンスター・建物・背景・動物・植物となんでもいい。
少女だけではなく、もっと様々な絵を揃えたいですね。モンスター・建物・背景・動物・植物となんでもいい。
佐々木
実は論文に画像を入れる時にも問題があって、サンプルが女の子しかなかったんです（笑）だから建物を入れたり動物を入れたりしました。
実は論文に画像を入れる時にも問題があって、サンプルが女の子しかなかったんです（笑）だから建物を入れたり動物を入れたりしました。
シモセラ
そう！
論文は女の子ばかりに見えないようにしているんですが、学習のデータを全部見ると9割以上が女の子！
女の子ばかり学習させたから、やっぱり女の子が得意になっています。女の子だとすごく上手くいくんですが、他のものだと「ウーン」て（笑）
わざとやっているわけではないので、他のデータが欲しい。もっともっと、男性とか色んなバリエーションが欲しいんです！
そう！
論文は女の子ばかりに見えないようにしているんですが、学習のデータを全部見ると9割以上が女の子！
女の子ばかり学習させたから、やっぱり女の子が得意になっています。女の子だとすごく上手くいくんですが、他のものだと「ウーン」て（笑）
わざとやっているわけではないので、他のデータが欲しい。もっともっと、男性とか色んなバリエーションが欲しいんです！
―― もっとドラゴンとか妖怪とか……でも最適化されすぎて、ドラゴンを入れても女体化されたドラゴンが出てきたりして（笑）
シモセラ
手法の問題じゃなくて、データの問題ですね（笑）
手法の問題じゃなくて、データの問題ですね（笑）
飯塚
現状でも、学習のさせ方で工夫をしているのでドラゴンなどはある程度上手くいくと思います。ただやはりそういったデータもあった方が、色んな側面で上手くいくようになるんですね。どんな絵でも、あればあるだけいいと思います。
現状でも、学習のさせ方で工夫をしているのでドラゴンなどはある程度上手くいくと思います。ただやはりそういったデータもあった方が、色んな側面で上手くいくようになるんですね。どんな絵でも、あればあるだけいいと思います。
佐々木
でもTwitterを見ていると「女の子に使えるところに意味がある」っていう意見が多かった。論文に萌えが載っているということに意味がある、実用的なという意味で（笑）
でもTwitterを見ていると「女の子に使えるところに意味がある」っていう意見が多かった。論文に萌えが載っているということに意味がある、実用的なという意味で（笑）
―― 「使用者にこう使って欲しい」「こんな使い方もあるよ」という部分はありますか？
シモセラ
使っていただければ十分です。これだけ描いて欲しいということもありません。
使っていただければ十分です。これだけ描いて欲しいということもありません。
飯塚
もし他に使い道があれば、是非それを教えていただきたいですね。「こんなことができたらいいな、ここが自動だったらいいな」という意見もいただけたら嬉しいです。
もし他に使い道があれば、是非それを教えていただきたいですね。「こんなことができたらいいな、ここが自動だったらいいな」という意見もいただけたら嬉しいです。
―― それでは、ユーザーに対してのコメントを！
佐々木
クリエイターさんの負担が減るように、オリジナルのいい作品が出せるように支援を含めてしてきたいです。また、この支援に関する研究を進めていきたいと思います。
クリエイターさんの負担が減るように、オリジナルのいい作品が出せるように支援を含めてしてきたいです。また、この支援に関する研究を進めていきたいと思います。
飯塚
この研究はまだまだ研究段階。実際に沢山使っていただいて、フィードバックをもらえると嬉しいです。今後の技術の発展にもつながります。
この研究はまだまだ研究段階。実際に沢山使っていただいて、フィードバックをもらえると嬉しいです。今後の技術の発展にもつながります。
シモセラ
これからも研究を深めて、今よりもっとブラッシュアップさせていきます。そのためにも、老若男女、ドラゴン妖怪ゾンビにカエルなど、様々なパターンの画像をお待ちしています。私たちもAIも育っていきますし、皆さんとも一緒に育っていけたら嬉しいです！
これからも研究を深めて、今よりもっとブラッシュアップさせていきます。そのためにも、老若男女、ドラゴン妖怪ゾンビにカエルなど、様々なパターンの画像をお待ちしています。私たちもAIも育っていきますし、皆さんとも一緒に育っていけたら嬉しいです！
―― ありがとうございました。
本稿をご覧のクリエイターの皆様へお願いです。本研究の趣旨に賛同いただけるようであれば、学習用のイラストデータ提供をご検討いただけないでしょうか。現在実施中の「液タブ&人気ギフト券が当たる！ イラスト募集キャンペーン ～あなたのイラストが未来のクリエイティブ環境を変える～」への参加をご検討ください。
ご提供いただいたイラストは早稲田大学石川研究室のシモセラ・エドガー研究院助教と飯塚里志研究院助教らが研究している「ラフスケッチを自動的に線画にする技術」およびセルシスによる研究開発等、グラフィックス分野における機械学習研究の実用化を目指すために使わせていただきます。
ご応募いただいた画像は機械学習などの研究目的で利用し、それ以外の目的には一切使用いたしません。また、応募された画像データが、外部に公開されることはありません。
イラストをご提供いただいた方の中から抽選で、液晶ペンタブレットを１名様、人気ECサイトで使えるギフト券1,000円分を計66名様にプレゼント中です。
未来のクリエイティブ環境を変えるのはあなた！
詳細はこちら
（取材・文/平工泰久）
(撮影/GEKKO 福岡諒祠)
