cGANによるマンガの色付け論文メモ

機械学習

概要

  • 学習データとしてマンガを集めるのが難しい
    • 普通マンガは白黒しかない
    • copyrightの問題

  • 自動色つけ手法としてpix2pixがあるが，大量の訓練データを必要とする
  • そこで提案手法では
    • たった一枚を参照画像とする
    • 生成画像のぼけを緩和する手法も使っている

参照画像一枚でどのように色付けするか

f:id:yusuke_ujitoko:20170701234447p:plain

  • スクリーントーンは削除
  • 画像1枚で学習させたcGANで色付け
    • 色づけしたい部位ごとに良い訓練データは異なる．
      例えば，顔のコマを色付けしたい場合顔だけが写っている訓練データを使うのが良いことが実験で分かっている．
  • segmentation
  • segmentごとの代表色を選択
  • 彩度を上げる
  • 色み離散化
  • screentone部分にshadingを施す