一瞬でラフ画を線画に！開発した早稲田大学にグラフィックス研究の未来について聞いてみた‐前編‐

2016.11.18

2016年、早稲田のとある研究がクリエイターの間で大きな話題となりました。それはAI（機械学習、ディープラーニング）を活用して、ラフ画をAIが線画に自動変換する技術です。

ラフスケッチの自動線画化

今回の記事は、多くのクリエイターに衝撃を与えた「ラフスケッチの自動線画化」に迫るべく、本研究を行っている早稲田大学研究院助教シモセラ・エドガー氏と飯塚里志氏に、この研究のきっかけや将来の展望について伺いました。

略歴

シモセラ・エドガー早稲田大学研究院助教

シモセラ・エドガー

スペインのBarcelonaTech工学科卒業。Institut de Robòtica i Informàtica IndustrialでPh.D.を取得。2015年8月より早稲田大学に勤務。

機械学習とコンピュータビジョンの研究に従事。これまでの研究成果に、1枚の画像からの人間の3次元姿勢推定、衣服のファッション性の推定、画像特徴量の抽出、ラフスケッチの自動線画化などがある。最近はコンピュータグラフィクス分野の研究に取り組んでおり、特に機械学習を用いてイラスト作成を支援するツールについて研究を行っている。

飯塚里志早稲田大学研究院助教

飯塚里志

筑波大学大学院システム情報工学研究科博士後期課程修了。日本学術振興会特別研究員（DC1）を経て、2015年4月より早稲田大学に勤務。

コンピュータグラフィクス、特に画像生成・編集の研究に従事。主な研究テーマに、1枚の画像からの3次元モデルの生成、画像中の物体の経年変化の再現、白黒写真の自動色付けなどがある。近年は、ディープラーニングを用いて画像を生成する技術の研究に取り組んでいる。

研究のきっかけは、イラスト制作が趣味の院生からの一言

―― 本日はよろしくお願いします。まず研究内容について教えてください。（敬称略）

シモセラ
私たちが手がけているのは「ラフスケッチを自動で線画化する」ものです。入力は普通の鉛筆で描いた絵などをスキャンして、出力はベクター化された線画にする、というイラスト作成を支援する研究を行っています。　

―― きっかけはあったんですか？

シモセラ
私は機械学習の専門家なんですが、研究するテーマをみんなで検討して決めているときに、研究室の大学院生である佐々木一真君が線画化の問題などを紹介してくれたことがきっかけです。佐々木君は趣味でイラスト制作をしており、イベントにも積極的に参加するほど本格的で、利用者目線で教えてくれました。

彼に紹介されなかったら、この問題を知らなかったと思います。私が最近使っている手法に向いていることもあり、それを実際に試してみたら意外と簡単にできてしまいました。飯塚さんに会ってからは、コンピューターグラフィックス向けの研究をやっています。　

―― お二人の出会いがあって、佐々木さんの提案があって、そこから生まれたものでもあると。

シモセラ
チームとしてデータを用意してくれたのは佐々木君で、グラフィックスや実装の際に色々やってくれたのは飯塚さんで、メインが私です。私が最初にコードなどを開発し、実装している途中で他のことをやってしまって、その間に飯塚さんが完成させてくれました（笑）組み合わせが良かったんですね。　

―― やりたいからやってみた、という感じですか。

シモセラ
機械学習は何にでも使えてしまいますので、いいテーマを見つけるのが難しいんです。ラフの線画化はまだやられていないテーマなので色々できるし、上達する余地がありましたからね。　

―― 漫画・アニメ・ゲーム、様々なところで利用可能ですね。

飯塚
線画はイラスト作成工程の中でも最初の部分。ラフスケッチから線画にする、影を付ける。そういう工程も今後この様な手法を活用すると、もっと簡単に自動化や支援ができると考えています。　

線画からの自動色付けの難しさ

―― 飯塚先生の「白黒写真への自動色付け」は当プロジェクトの一環として生まれたんですか？

飯塚
一環ではないんですが、「ラフの線画化」からインスパイアされたところもあって、「こういう入力から色々な特徴や出力が出せるなら、白黒に対してカラーにすることもできるのではないか？」と考えて、始めました。

線画に色を付けるのではなく、手法や技術的な部分が似ていて、白黒写真の色付けにも応用できるということです。SIGGRAPHという著名な国際会議で採択された後に世に出したらTwitterなどでも話題にしていただいて、そこから各種メディアにもご紹介いただきました。　

白黒写真の自動色付

―― ムービーの着色も可能なんですね。空の青色などもしっかり出ていますし。

飯塚
屋外の画像は色付けの得意分野なので、上手くいきました。人間の感覚にかなり近くなっていて、人が「これは空だな」と認識できるものであれば人工知能も空だと判断できます。明度が関係していますので、例えば夕日や朝日は得意な部分ですね。　

白黒写真の自動色付２

―― つまりラフでも明度を再現していれば、着色もできると。

飯塚
夕暮れだと太陽が白くなって周りが暗くなることで夕日だと判断できるんです。でもこれがイラストだと、線だけ、輪郭だけとなり、情報がないので厳しい。 　

―― とは言え、「線画への色付け」も小耳に挟みました。

シモセラ
線画だとテクスチャーがないので、自然な写真と大分違う問題になります。違う手法を使う必要があるため、写真への色付けの研究と同じやり方では上手くいかないでしょう。写真と違って人工物（創作物）ですから、ラフの作成者によってどんな色になるかの認識も変わってきます。

飯塚
根本的に、白黒写真の色付けとイラストの色付けは、全く違うものなんですよ。線画は基本的に輪郭線しかないので、キャラの髪の色など人工知能は判断できません。

人間だったら「全部ピンクにしよう」と決められるんですが、人工知能だと迷ってしまって、平均的な色を出したりするんです。なんとなくセピア色が全体的に付いたり、斑っぽく着色されたりする。白黒写真と違い、線画に着色するのは問題がまったく変わってくるんです。

シモセラ
色についてはAIにやらせるのではなく、編集、ユーザーの指導でやろうかと考えています。全自動だと不満が出ると思うんですよ。「これ赤くなったんですけど、本当は青くしたかったんです」ということも起きてしまう。だから全自動は止めた方がいいかと。　

現状の課題は、今までの手法を改良しないといけない、というところですね。そのままでは使えないので、まずは人工物が上手くいくように頑張らないといけない。　

やはりユーザーの指導が必要になってくると思います。写真と比べてイラストの方がパターンも少ないので、テクスチャーがあれば学習は簡単になるのですが……。　

たくさんのイラストがAI研究の精度を高める

―― 今回のキャンペーンで集めた画像の利用目的は？

シモセラ
今回の目的は基本的に研究のためです。イラスト制作に使えるツールを開発するために使いたいと考えています。便利なツールとして、クリエイターに使ってもらいたいんですよ。クリエイターが、アマチュアでもプロ並みにイラスト制作をできるようにしたい。これは皆さんのためだけではなく、自分のためでもあります（笑）　

―― すると皆さんはイラストを描かれるんですか？

シモセラ
陶芸するときに描きます。普段から練習してますよ。折角描いているんだから、普通の絵もやろうかと考えています。　

シモセラのイラスト

△シモセラ助教のイラスト

飯塚
僕は描きませんが、佐々木君はバリバリ描きます！　

佐々木
主に女の子をいっぱい……魔法少女もので概念になるピンクの子です。　

―― タッチが柔らかい作品でも、線画化はできるんでしょうか？

シモセラ
今まではひとつのモデルの話しかしていないんですが、これからは個々の使う人で変えられるようにしたいと考えています。　

ベースに一般的なモデルを使って、色んな人に合わせて個人化する。普通の絵を描きたかったら、少しずつ自分の趣味・興味に合わせて調整してくれるみたいな感じですね。できるとは思いますが、どうやっていくか試している最中で研究段階です。　

飯塚
ユーザーごとに最適化してモデルを作る、「この人用に作る」ことができます。　

シモセラ
「○○先生のモデルを作って線画化」された絵を描けるようになるかと考えています。学習されたもの自体が商品になりそうですし、自分のモデルを学習させて売ることも考えられます。　

―― 「〇〇〇〇風」みたいな指向性を持った出力とか？

シモセラ
アウトプットはベクターですので、色々できます。　

飯塚
学習データによって、画風みたいなものは再現できると思います。モデルも変えないといけませんが、そういうデータがいっぱいあれば「その人風の画風」に変換されるものはできます。　

シモセラ
色んな人が描いた絵を集めて線画化しなくてはならないので、大変ではありますね。ラフすぎたりすると使えない側面もあって、AIが余計なものを付けたり、逆に消しすぎたりという問題が出てきます。

また、「ある人にとっての線画が、他の人にとってはラフ」というパターンも学習させるということは、相反するものをAIに学ばせることになります。　

そうなると学習がダメになりますね。まず一般のモデルを学習させて、それぞれの自分のモデルを使いつつ学習させる、すると上手くいくでしょう。　

―― それぞれの使い方に合わせるのは商品化してから、ですか。

シモセラ
まずは研究。研究としても色々やれます。私は私のモデルを学習させて、佐々木くんも自分のモデルを学習させて（笑）　

佐々木
僕のイラストだったら、いつでもできるんですけどねー。　

シモセラ
私、少女とか描きませんからね、描いてるものがみんな違う（笑）　

―― 線画化について「二値化しているだけじゃ？」という意見もありましたが……。

飯塚
二値化ではほとんど上手くいかないですね。二値化と言うのは0か1かという、薄い線を消すような事しかできません。意味のあるモノとしてまとめることができないんです。　

―― 線としてだけではなく、髪型や目なんかは意味のあるパーツとして認識しているんですか？

シモセラ
両方混ぜていると思います。目は断然に輪郭として認識していますね。頭はそれほどでもないんですが、目は小さいから認識している。　

飯塚
面白いのは、目の上の太くなっている場所は、AIがちゃんと残すんです。目の輪郭として、まつ毛として認識しています。　

佐々木
最初の頃、まつ毛や二重まぶたなどを表現する目の上の線は、学習が上手くいきづらい部分がありました。「なんでこんな風に描くの？」と二人に言われ。「まつ毛はこういうふうに描くんですよ！」と説得しました。「まつ毛はこう描くので、ここは残したいんです！」って戦いが（笑）　

―― サンプルが集まると、今後は自動的に学習していって、正解につながると。

飯塚
難しいところとしては、目を黒く塗りつぶす人と白抜きにする人で分かれていますよね。しかしそれを両方入れてしまうと学習が難しくなるのです。AIが、どっちが正解か分からなくなってしまうので、そこはこちらで調整する必要があります。　