Research Group
当研究室は，研究分野毎に4つのグループに分かれて研究を行っています．以下に，各グループの概要と研究例を紹介します．
質感グループ
図：等しい粒状感Gを知覚する等粒状曲面
当研究室のような画像系の研究室は，千葉大学において長い歴史を持ち，写真や印刷の研究を行っていました．近年では高レベルな色再現が可能となっているため，色彩だけでなく，光沢や透明感，粒状感に代表されるような「質感」のコントロールに目を向けて研究を行っているのが当研究室の質感グループです．以下に，最近の研究の1例を紹介します．
近年，オンラインショッピングなどの電子商取引において，CGを用いた商品紹介の手法が普及しています．CGでの商品紹介の利点としては，ユーザの要求に応じてインタラクティブに視点や照明等の設定を変化させて閲覧できることが挙げられます．この手法では，ユーザは企業により作成されたCG画像を閲覧して商品を購入するため，いかなるディスプレイでも正しい質感のCG再現が必要となります．しかしディスプレイによって最大輝度や色再現域などの特性が異なるため，CGを閲覧するデバイスの違いによってCG画像の見え方が変化してしまうという問題が生じます．そこで，変化する質感の内，物体表面のざらざら感などを表す粒状感に注目し，粒状感に影響を与える要素を用いて粒状感を定量化することでディスプレイに依存しない等粒状感再現モデルの提案を目的とした研究を行いました．粒状感を定量化するために，粒状感に影響を与えるパラメータを用いて主観評価実験を行う必要があります．そこで，マグニチュード推定法を用いて評価実験を行います．この手法は，粒状オブジェクトのCG画像を用意し，被験者にその粒状感を弱いものから強く知覚できるものまで0~100で評価するものです．実験を行う前に，例として粒状度が0のオブジェクトと100のオブジェクトを指定して提示します．その際，粒状オブジェクトのパラメータとしては，粒のサイズ，凹凸の彫りの深さを表す振幅，画像の最大輝度値をそれぞれ3段階で変化させます．粒のサイズと振幅の変化には，ガウシアンノイズによる輝度値の細かい変動があるテクスチャを，画像処理により模様を変更し，それをオブジェクトにバンプマッピングすることにより実現しています．バンプマッピングとは3Dオブジェクトの表面に凹凸を表現する手法の一つです．また，本実験では事前に実験に用いるディスプレイの，任意の画素値に対応する輝度値を調べて評価画像の画素値をスケール変換し，その最大画素値に対応する輝度値を画像の最大輝度値と仮定しています．実験結果に対し重回帰分析を行うことで，粒状感を定量的に表現する式を取得できます．この式を視覚的に表現するためにグラフ化を行います．このグラフは，任意の粒状感Gでの曲面上では他のパラメータを変化させても等しい粒状感を知覚することができる等粒状曲面を表しています．このようにして得られたモデルに対してCG粒状オブジェクトを用いた妥当性検証を行います．等粒状感曲面にはG = 54のものを採用します．まず，この曲面上に存在する輝度値の高い画像と，それと等しいパラメータで最大輝度値が減少した画像を用意します．ここではこの2つを異なるディスプレイに表示された同じ粒状オブジェクトとします．最大輝度値が下がったことにより，粒状感は下がるため，その画像のパラメータを，等粒状感曲面を利用して元画像と等しい粒状感を与えるように操作します．補正結果を主観評価した結果，G = 54となり，元画像と等しい粒状感を再現することができていることが分かりました．これにより，本研究によるモデル式が高精度に粒状感を再現できるものであることが示されました．今後の発展としては，より複雑な形状の粒状オブジェクトや様々な粒状パターンの再現が考えられます．
肌グループ
当グループは肌の計測および肌の物理モデルに基づく解析を行うことで肌の動態を把握し，特に美容への応用を目的としています．人間は皮膚の状態から健康度や年齢などの様々な情報を発信しています．例えば，顔にシミが多く存在すると，年齢が高いという印象を与え，目の下にクマが存在する場合には，疲労が溜まっているという印象を与えることがあります．シミは皮膚に含まれるメラニン色素の沈着，目の下に現れるクマはメラニン色素の沈着及び血液の滞りが原因であると言われています．メラニンは，皮膚の上位層である表皮に分布する一方で，血液は表皮の下に広がる真皮層に広く分布しています．しかし，これらの症状の見えとメラニン色素・血液の滞り等との因果関係はまだはっきりとは解明されていません．また，皮膚血液量はレーザドップラ血流計等の装置を用いることで測ることができます．しかし皮膚の深さ方向の分布を測定することは不可能です．そこで，本研究室の肌グループでは肌の物理モデルを構築してモンテカルロシミュレーション(MCML)により光の散乱・吸収を確率的に計算することで，皮膚の各層の色素濃度を推定する技術を研究・提案しています．本手法を用いて皮膚の各層のメラニン色素や血液動態を定量的に測定・推定することで，応用として例えば美容業界等で提案されるシミやクマ等の症状を緩和・軽減させる製品について，皮膚の各層に対する効果を定量的に評価可能となります．
廣瀬らは皮膚をメラニン色素の存在する表皮層と血液の存在する真皮層の2層で構成されると仮定した肌の2層モデルに基づき，メラニン濃度と血液濃度の推定手法を提案しました．この技術では，皮膚の2層モデルに対してMCMLを行い，光の散乱・吸収を確率的に計算することで，メラニン濃度，血液濃度，酸素飽和度が任意の値を入力として，それに対応する吸光度を出力する吸光度関数を取得します．そして，実測した肌の分光反射率と上記の物理モデルによるシミュレーションに基づき取得した吸光度関数について最小二乗法を用いることで，計測した実際の皮膚のメラニン色素濃度，血液濃度，酸素飽和度の推定を可能とします．ただし，図に実際の皮膚の断面図を示すように，表皮層・真皮層はともに一様ではなく複雑な構造をしています．図から分かる通り，深さによって皮膚の構造が異なるため，メラニン色素濃度や血液濃度，酸素飽和度が深さによって異なることが分かります．そこで，赤穂らは廣瀬らの肌の2層モデルを改良し，より実際の皮膚の構成に近い7層から成る皮膚の物理モデルとそれに基づく各層のメラニン色素・血液濃度の推定手法を提案しました．図に皮膚の7層モデルを構成する各層の名称を示します．また，提案手法の有用性を検証するために，温浴と炭酸欲という2通りの刺激を与えた直後の肌を計測し，色素濃度等の変化を推定することで実画像への応用の可能性を考察しました．
図：皮膚の断面図と各層の名称
はじめに7層の皮膚物理モデルを構築するに当たり，2層目である表皮層にメラニン色素を設定し，血液量が多いとされる4層目の上部毛細血管網層と6層目の下部毛細血管網層に酸素飽和度を決定する酸化ヘモグロビン色素と脱酸化ヘモグロビン色素を設定します．このとき，各層での波長に対する吸収係数は文献値を使用し，色素濃度については文献値により上限・下限を設定し，メラニン濃度は5通り，4層血液濃度は9通り，6層血液濃度は15通り設定します．これにより，各パターンをそれぞれ組み合わせてMCMLに入力することで，675個の分光反射率データを取得しました．このように取得した分光反射率データを吸光度へと変換し，3次関数とのフィッティングを行い吸光度関数を取得することで，これまで入力が675通りの離散値であった吸光度について，連続的な吸光度を取得できるようになりました．
次に，7層モデルによる推定手法が色素濃度の変化を捉えることが可能であるかの確認を行うために，実際の皮膚に血液が変化する複数の刺激を与え，その様子を計測・解析します．計測の対象部位である前腕に対し，台を用いて固定し暗室下で撮影を行いました．撮影には分光カメラおよび人工太陽照明灯を使用しています．分光画像は400nm-900nmの範囲の10nm刻みで51波長を取得しています．また，前腕部に対する刺激として，温浴と炭酸浴の2種類を与えました．刺激を与える前および後に時間経過に応じて計6回の撮影を行いました．解析範囲として30×30画素の範囲で色素成分を推定した結果の平均値の変化を追跡して色素濃度変化としました．このとき，メラニン濃度は2種類の刺激で共に値がほぼ変化しておらず，今回の刺激に対しては妥当な結果が得られたと考えられます．4層の血液濃度は，どちらの刺激でも刺激後に急激に増加しましたが，特に炭酸浴刺激の方が血液濃度の上昇がより長く持続しています．さらに，6層の血液濃度は温浴刺激では増加しなかったのに対し，炭酸浴の刺激では増加が見られました．これらの結果から，炭酸浴は通常の温浴に比べ，皮膚のより深い層へ持続的に血液濃度の上昇に影響を与えていると考えられます．
本研究では，MCMLを用いて色素濃度と吸光度の関係を示す関数を求め，3次関数を用いて分光画像からメラニン濃度，4層の血液濃度，6層の血液濃度，陰影の4成分を推定しました．刺激実験を行い，時間経過とともに撮影した実画像の色素成分の推定を行った結果，この手法の妥当性を確認することができました．これより，本研究の提案手法を用いることで，既存技術では計測することのできなかった深さ方向への色素濃度を定量的に計測することが可能であると示唆されました．
上記の技術は皮膚のように層構造をした半透明物体に対し，任意のパラメータを設定することで適用可能なため，現在は当研究室の質感グループで3Dプリンタによる多層プリントの色再現技術への応用が期待されています．
本研究の肌グループでは，上記の物理モデルに基づく推定手法の他にも，独立成分分析により肌画像単体の画素値からメラニン・ヘモグロビン色素の濃度を推定する色素成分分離を用いた研究を数多く行っています．この技術は現在では当研究室の医工学グループや情動グループが用いる技術を支える基盤となっており，肌グループを起点として更なる応用が期待される技術を発信し続けています．
情動グループ
図：色素成分分離を用いた脈波検出
情動グループでは，生体情報と人間の情動の強い結びつきを利用し，動画像に対して画像処理や信号処理を行う事により非接触での情動推定を研究しています．
情動とは，恐怖や不安，怒りなどといった急激に生起し短期間で終始する反応振幅の大きい一過性の感情状態であるとされ，心拍や脳波など計測可能な生体信号と強い結びつきがある事が知られています．生体情報を解析して情動推定を行う手法は，アンケートを用いる手法と比較した場合，頻繁に実施できないアンケートと異なり計測を継続的に行う事ができ，取得される情報が無意識のうちに身体に表出されるものである事から，定量的に評価を行う事でより連続的かつ高精度に情動推定が行えるという利点があります．
一般的に，生体信号の取得には電極を貼り付けて計測を行う心電計だけではなく，リストバンド型の脈拍計や，心電センサを埋め込んだ衣類を装着して計測を行う手法が用いられますが，こうした手法は被計測者に対してある程度の拘束感と不快感を与えるという欠点があり，接触型の機器を装着する事でストレスを感じてしまうという大きな課題が存在します．また，皮膚に疾患を持つ被験者や皮膚が未発達である乳幼児には接触型の電極を装着する事は出来ない為，近年ではカメラを用いた非接触による計測手法が盛んに研究されています．カメラを用いた脈拍測定は，心臓の拍動によって生じる顔色の僅かな変化を抽出する事で，顔動画像から被験者に触れる事無く脈波を推定する手法です．当グループでは，RGBカメラにより撮影した顔動画像に対して色素成分分離を適用し，取得されたヘモグロビン成分動画像の画素値の変化から脈波を推定します(図1)．この手法は，RGB顔動画像をメラニン成分，ヘモグロビン成分，陰影成分に分離する事から，照明の変動に対してロバストに脈波推定を行う事が可能となっています．このように非接触にて取得した脈波から心拍変動を解析する事により，ストレスをはじめとする情動の推定へと応用する手法について研究を行っています．以下に，当グループの研究の1例を紹介します．
スマートフォンやソーシャルメディアの普及によりオンラインビデオ広告の定着が進み，その市場規模が拡大している事や，近年広告主は視聴者の感情を引き出す広告のデザインとその効果の測定に注力しています．伝統的にビデオ広告の消費者テストは実験室環境で行われてきましたが，本研究では撮影環境を十分に制御できない環境下でクラウドソーシングにより収集した，承諾を得た411名の被験者に対してCMの効果推定を行いました．本研究では，顔動画像から表情，心拍，視線を解析し，特徴量とする事で広告効果を推定しました．広告の有効性を推定する為のラベルとして，被験者に対する事前調査，および事後調査からCM視聴による購入意向の変化量およびCMの好感度の各中央値を算出し，中央値よりも高いものを陽性クラス，中央値以下のものを陰性クラスとする事でバイナリ分類問題を作成しました．そして，前述のマルチモーダル特徴量を用いてSVMにて2クラス分類を行い，全データを10分割して交差検証によって分類の精度検証を行いました．分類の際にはSMOTEを用いて各クラス間の要素数を揃え，ReliefFを用いて特徴量選択を行っています．本研究の成果として，顔動画像から取得される3種類の生体情報を組み合わせる事により，単一の生体情報を用いた場合と比較して推定精度が向上している事が確認されました．また，性格の違いによって刺激に対する感度にも差異が生じ，知覚や行動にも影響を与え，さらにその影響は，表情の表出や心臓の動き，視線にも及ぶ事から，本調査前に行った性格測定の結果を特徴量とする事による広告の有効性推定における精度の変化についても検証を行いました．本研究では，「開放性：Openness to experience」，「勤勉性：Conscientiousness」，「外向性：Extraversion」，「協調性：Agreeableness」，「神経症傾向：Neuroticism」で構成されるBig Five personality traitsと，10の基本的な人間の価値観を定義したValuesのスコアを性格の特徴量として用いました．結果として，性格を前述のマルチモーダル特徴量と組み合わせる事により推定精度が僅かに向上しました．
当グループが行う研究の応用先としては，前述の広告の効果推定のみならず労働環境におけるストレスや運転中のドライバーのモニタリング，ロボットの感情認識など多岐に渡り，様々な方面から注目を集めるホットな分野といえます．
医工学グループ
図1：撮影風景と取得した3D形状
医工学グループは，画像処理と計測を始めとした工学分野の医学応用を目的としています．現役の医師と頻繁にコンタクトを交わすことで，より高い専門性に基づいた研究に取り組んでいます．以下に研究の一例を示します．
体内に水が溜まり，腕や脚が腫れて膨張することを浮腫と呼び，リンパ浮腫を罹患した場合，医師による継続的な治療や観察が必要になります．浮腫の定量的な評価は，治療方針の決定や治療効果の把握に有用であり，特に四肢の体積の変化を可視化することで，症状の改善・悪化が視覚的に判断することが可能です．近年に，Microsoft Kinect V1という深度カメラを用いて浮腫の体積を測定する手法が提案されました．しかし，体積の測定値にはばらつきがあり，体積の計測を行うだけでは，浮腫の程度を観察するのに不十分であると考えられました．局所的な体積変化部分を確認することで，その部位への入念なマッサージなどの治療を施すことができます．
そこで本研究では，浮腫の形状の変化を視覚的に観察することのできるシステムを開発しました．Kinectを用いて四肢を撮影し，取得した3Dモデルの位置合わせを行います，その後，形状の変化量の大きさに応じて色分けすることによって，形状の変化を可視化しました．
本提案手法は，3Dモデルの取得，位置合わせ，変化量の可視化の3つから成り立ちます．
下肢の3Dモデルを構築するために，Kinect Fusionを使用した撮影を行います．構築中の3Dモデルの例を図1に示しました．取得した3Dモデルから測定対象領域を手動で大まかに抽出します．このとき，床面とXZ平面が一致するよう回転，移動を行っています．次に，抽出した足部分の中から常に一定の領域を選択できるよう，床面からの高さを用いて領域を切り分けます．Y軸方向が高さ方向と一致しているため，点群のY座標を用いたマスキング処理によって測定領域の点群を抽出します．最後に，床面は平面検出アルゴリズムにより機械的に削除しています．
2つの3Dモデル点群Aと点群Bを位置合わせするため，本研究ではGo-ICPアルゴリズムを用いました．近傍点への剛体変換行列の推定を反復して行うICPアルゴリズムと，攻めるべき解空間の探索を行うBnBアルゴリズムを交互に行うことで，2つの点群間の誤差が最小化されます．また，ここで位置合わせ後に高さにずれが生じる場合があるため，高さの補正を行います．点群Aにおいて床から足首までの部分を抽出し，この点群Aの足部分と点群BにGo-ICPアルゴリズムを適用します．ここで得られた剛体変換行列を点群A全体に用いることで，高さのずれを補正した位置合わせ結果が得られます.
位置合わせした点群Aと点群Bの誤差は，浮腫の形状の変化量とみなすことができます．そこで変化量に応じて点群に色付けを行い，形状の変化量を可視化していきます.まず，点群Aにおいて各点の法線ベクトルを求めます．次に，点群Bにおいて三角メッシュを構築します．この法線と三角メッシュで，Tomas Mollerの手法を用いた衝突判定を行い，このとき得られた点と三角メッシュの距離に応じて，点群Aの各点を色付けすることで，浮腫の変化量の可視化を行いました.
図2：色付けによる可視化結果
提案手法によって得られた2つのモデルの位置合わせを行い，このときの変化量を可視化することで図2のような結果が得られます．これにより，浮腫の局所的な変化量を視覚的に確認することが可能となりました．現在は撮影時の患者の姿勢によらないモデルの位置合わせの実現や，形状だけでなく肌の色やハリなど多角的な浮腫の評価を可能とするシステムへ発展させ，実用的な四肢体積評価システムを目指しています．