自動カラー化のメリット

放送番組では，古い白黒フィルム映像を扱うことがあるが，この映像をカラー化することで，過去の様子をより鮮明に視聴者に伝えることができる。しかし，これまでのカラー化作業は，主に映像加工の専門家が手作業で行っており，膨大な作業時間が必要であった。そこで当所では，人工知能（AI：Artificial Intelligence）を活用した自動カラー化技術の研究を進めてきた。この技術を使うことで，これまでは数日かかっていたカラー化作業が，30秒～５分程度で行えるようになる。

自動カラー化の仕組み

自動カラー化では，大量の学習用カラー画像を使って，さまざまな物と色の組み合わせを覚えた人工知能（AI）を使う。しかし，AIは常に実際の色と同じように着色できるとは限らない。特に，洋服や自動車など，形状は同じであっても色のバリエーションが豊富な人工物は，正確な着色が非常に困難である。一方，放送番組では，史実に基づいた適切な色でカラー化されることが求められる。そこで当所では，AIが不適切な着色を行った場合に，簡単に色を修正できる「指示つきカラー化AI」を開発した（１図）。

放送に特化したワークフロー

例えば，ある映像のカットをカラー化した際に，本来は赤く塗るべき車が異なる色で着色されたため，色修正が必要になったとする。この場合，指示つきカラー化AIを用いたワークフローにおいては，人間はカットを構成する静止画の中から１枚を選び，選んだ静止画内で，色修正が必要になった車（修正領域）の一部を赤く塗る。次に，修正領域を含んだ静止画をAIに入力すると，AIはその静止画を基に，カット全体の車の領域を自動で見つけ出し，車の色だけを塗り直す。このような指示つきカラー化AIを用いることで，少ない作業量でカット全体の色修正が可能になった。

さらなる番組制作支援へ

当所では，今回紹介した映像カラー化技術だけでなく，さまざまな映像処理技術の研究を進めて，番組制作を効率化するシステムの開発を目指す。

https://www.nhk-fdn.or.jp/es/transfer/catalog/imageprocess_10.html

白黒フィルムなどの白黒映像コンテンツを、AI を用いてカラー化する技術です。
フレームごとの色ぶれの発生を抑えることや、簡単な操作で色を部分的に変更することができます。

利用分野

・白黒映像コンテンツの高品質なカラー化
・白黒写真のカラー化

特長

(1) 同じシーンにおける色ぶれの発生を抑えることができます。
(2) カラー化した映像の色を部分的に修正することができます。
(3) AI による自動着色により、白黒映像コンテンツを短時間でカラー化できます。

技術解説

白黒映像をカラー化する技術です。従来から、色を推定するAI（色推定AI）を用いた自動カラー化技術が知られています。しかし、この技術をそのまま映像に適用するとフレームごとに色ぶれが発生するという課題がありました。そのため、これまでの映像カラー化は、人間が手作業で着色せざるを得ず、わずか5 秒程度の映像のカラー化でも数日もの時間をかけていました。 本技術では、色推定AI に加えて、新たに開発した色伝播AI と色修正AI を用いることで、同じシーンにおける色ぶれの発生を抑えることができるとともに、自動でカラー化したフレームの色を部分的に変更することができます。これにより、白黒映像を短時間でユーザーの意図通りにカラー化することができます。

(1) 色伝播AI による映像のカラー化
まず、色推定AI が白黒映像から切り出したフレーム画像をカラー化します。色推定AI は静止画単位でカラー化するため、この時点ではフレーム毎に色ぶれが発生する事があります。続いて、カラー化されたフレームの中から、ユーザーのイメージに近い色合いでカラー化されたものを代表フレームとして選び、次に、色伝播AI が代表フレームの色と同じ色合いになるよう、他のフレームを再度カラー化します。色推定AI と色伝播AI を併用することで、色ぶれの少ない映像のカラー化を短時間で行えます。

(2) 色修正AI によるカラー化映像の修正
洋服などの色のバリエーションが多い物体は、ユーザーの意図と異なる色で着色されることがあります。そのような場合でも、色修正AI を使うことで簡単に色を修正できます。色修正AI は、人間が修正したい箇所を指定することにより、部分的に色を変更します。色修正AI で変更した色は、色伝播AI を使うことで、即座にシーン全体に反映できます。

提供可能な技術

・白黒映像を自動でカラー化する技術
・同じシーンにおける色ぶれの発生を抑える技術
・自動でカラー化した映像の色を部分的に修正する技術