ふぎのモノづくりにっき

痛車乗りのモノづくり日記。いろいろ試したり、作ったりするのを載せる予定だぞいッ

自動着色style2paints使ってみた

f:id:nyanpasuAxela:20190216194411p:plain

 AIを使った自動着色アプリstyle2paints v3をWindowsローカル環境下でアナログ絵に試してみました!
 せっかくなので、PaintsChainerも少しだけ試してます。

style2paints

 style2paintsはGUI形式で視覚的に自動着色できるアプリです。
 ”まずはざっくり塗って、次により詳細に塗る”という2ステップで着色することで精度良く色を塗っているそうです。元論文(Two-stage Sketch Colorization, LVMIN ZHANG et al.)はこちら⇒
http://www.cse.cuhk.edu.hk/~ttwong/papers/colorize/colorize.pdf
f:id:nyanpasuAxela:20190216191245p:plain
 こういうAIを学習させるためのデータセットってどこから持ってきてるのだろうと気になる僕ですが、これについてはDanboroo databaseのイラストを使っているみたいです。


 2019年2月現在では、最新版はオンライン版v4なのですが資金不足でサーバー元が停止していて現状使えない状態になっています。今、お金集めしているみたいなので、そのうち復活するかもです。

 代わりにv3がgithubで配布されていて、ダウンロードして環境構築すれば自分のPC内でオフラインで使うことができます。
 環境構築としては、python, tensorflowや各種pythonライブラリを入れて、githubからデータ、google driveからモデルをダウンロードします。中のserver.pyのパス部分を少し編集して実行すれば使用できます。分かりやすい↓のリンク先の通りやればできました。
Style2PaintsをWindowsローカル環境で動かす : 三毛猫様の部屋

 AI作成用にpython, tensorflowの環境は出来ていたので、10分ぐらいで環境を作る作業は終わりました。

ということで、

 起動して線画選択、
 f:id:nyanpasuAxela:20190216193549p:plain

 矢印マーク>を押すだけでフルオートで自動着色されます。
f:id:nyanpasuAxela:20190216193804p:plain

 おお~~~~( ゚Д゚)
 スケッチブックに書いたものをiphoneカメラで撮ったアナログ絵でもフルオートでもきれいに塗ってくれました。
 
 さらに、手動で色の制御ができます。GUIの下のほうにあるカラーロケータ、ポイントで塗りたい色に点やゾーンを設定すると、その色を参考に塗ってくれます。
 
 f:id:nyanpasuAxela:20190216194411p:plain
 好みの髪の色になりました(*´ω`*)
 せっかくなので、他の色も、

 f:id:nyanpasuAxela:20190216194414p:plain

 
 思ったよりも自動着色きれいに塗れますね♪

 目だけハイライトが欲しかったので、AIが塗ってくれたものを自分でお絵かきソフトでハイライト、目の明かり追加。
 f:id:nyanpasuAxela:20190216195602p:plain

 (○´ω`○)

 自分が塗ったのよりきれいです。

 自分で線画描いたものをAIに着色してもらって、、、

 AIが塗ったものを自分で修正する!って使い方もありですね。

PaintsChainer

 せっかくなので、同種のアプリPaintsChainerもお試し。
 こちらはオンライン上で何も設定しなくても、絵をアップロードすれば勝手に塗ってくれました。
 3つのデフォルト設定があってその中で一番良かったやつ↓
 f:id:nyanpasuAxela:20190216195000j:plain
 

 こちらも色の制御できます。
 f:id:nyanpasuAxela:20190216195134j:plain
 十分すごいのだけれど、色がはみ出したり、にじみ的にstyle2paintsのほうがよかったです。

 

 お絵かきソフトのクリスタの新Versionにもテスト版自動着色があったのですが、何もマニュアル類読まず線画設定だけしてフルオートで実行したら、アナログ絵は全然うまくいかず、デジタル絵は下の通り、デフォルトのままではよろしくない感じになりました。ネット上の情報を見てると設定してキレイに塗れている人もいるみたいです。
 f:id:nyanpasuAxela:20190216200105p:plain
 こちらについては、まだ使い方が分からない状態で適当にやったので塗られた結果や精度はおいておいて、有名どころのお絵かきソフトに自動着色が導入されたのは大きい気がしますね。


 いろいろ試してみて、少なくともstyle2paintsはまだ絵が下手な僕にとっては自分の絵を塗る時の参考になりそうです。
 自分の絵に色が上手に塗ってあるの見るとうれしいものですね♪

 お絵かきの練習もして、AIよりも自分の好みな感じに描けるようになりたいところです(`・ω・´)ゞ