2021.10.8
Optimizing Fingernail Imaging Calibration for 3D Force Magnitude Prediction
Thomas R. Grieve; John M. Hollerbach; Stephen A. Mascaro
IEEE Transactions on Haptics ( Volume: 9, Issue: 1, Jan.-March 1 2016)
本稿では，指先の力を予測するための指先の爪画像処理システムの最適化について検討した．照明の色調，キャリブレーショングリッド，力の予測モデルが，指先のイメージングの登録プロセスと力の予測精度に与える影響を調査した．白色LEDと緑色LEDは，3つの力の方向すべてにおいて，登録誤差と力の予測結果に統計的に同様の効果をもたらすことがわかった．2種類のキャリブレーショングリッドを実装したところ、直交格子と円筒格子のデザインの間で，レジストレーションと力の予測のいずれにも統計的に有意な差はなかった．5つの力予測モデルについて評価を行い，そのうちピクセル強度の固有ベクトルに基づいた主成分回帰モデルが最も高い精度で力を推定しました．このEigenNail Magnitudeモデルは，3方向すべての力を同時に推定し，95パーセント信頼区間のRMS誤差は0.55±0.02N（全力の7.6パーセント）であった．これらの結果は，爪画像解析システムのキャリブレーションに最適なパラメータの選択肢を示しています．
(発表者:長澤 拓海)
2021.10.15
The effect of shape and illumination on material perception: model and applications
ANA SERRANO, BIN CHEN, CHAO WANG, MICHAL PIOVARČI, HANS-PETER SEIDEL, PIOTR DIDYK, KAROL MYSZKOWSKI
ACM Transactions on Graphics (TOG) 40.4 (2021): 1-16
材料の外観は反射特性のみならず，表面形状や照明によっても左右される．光沢感に代表される，材料の質感についてその知覚特性を調査した研究は数多く存在するが，そのほとんどが典型的な限られた形状や照明を用いているため，実際のアプリケーションのために形状と照明の影響を一般化することが難しい．そこで本研究では，材料と形状，照明環境の組み合わせが異なる大規模な画像データセットを構築し，クラウドソーシングによりそれぞれの画像の質感評価を得た．このデータセットを用いて画像の統計的分析を行い，形状と照明の影響について包括的に議論する．更に，画像を質感と関連のある深層特徴へエンコードするアーキテクチャを学習することで，形状と照明を考慮した質感予測が可能になった．この予測器は3Dプリントによる外観再現や照明設計など様々なアプリケーションに用いることができる．
(発表者:永沢 和輝)
Revisiting Video Saliency Prediction in the Deep Learning Era
Wenguan Wang, Jianbing Shen, Jianwen Xie, Ming-Ming Cheng, Haibin Ling, and Ali Borji
IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE 2019
人が画像のどこを見ているのかを予測するタスク、通称ビジュアルサリエンシーは近年大きな研究対象となっている。しかし、動画でのビジュアルサリエンシーは効果的なモデルが提案されていない。本研究では、動画版ビジュアルサリエンシーにおいて、以下の3つの貢献を提供した。
1つ目は、DHF1K (Dynamic Human Fixation 1K) と呼ばれる新しいベンチマークを導入した。2つ目に、ACLNet（Attentive CNN-LSTM Network）と呼ばれる新しい動画版ビジュアルサリエンシーモデルを提案する。3つ目に、3つのデータセット（DHF1K、Hollywood-2、UCF sports）を用いて、最先端の saliency モデルの評価を行った。
400Kフレームを含む1.2K以上のテストビデオの実験結果は、ACLNetが他の候補よりも優れており、処理速度が速いことを示した。
(発表者:小池 黎明)
2021.10.22
DAGER: Deep Age, Gender and Emotion Recognition Using Convolutional Neural Networks
Afshin Dehghan Enrique G. Ortiz Guang Shu Syed Zain Masood
Clinical Orthopaedics and Related Research, February 2017
過去十年以上に渡り研究者たちに注目されるテーマである，人の年齢や性別，感情などの属性認識は，セキュリティ管理や人の識別など様々な分野に応用される．
既存の研究では畳み込みニューラルネットワークが用いられているが，未だ実用的ではない．
本稿ではそれらの顔の属性を低いエラー率で推定するエンドツーエンドのシステムを提案する．本研究では自社で収集した大規模なデータセットを最先端のニューラルネットワークに使用した．既存のベンチマークで実験を行った結果，他の競合するアルゴリズムと比べ，そのすべてでトップクラスの結果を得ることができた．
(発表者:矢部 涼介)
FroDO: From Detections to 3D Objects
Martin Rünz, Kejie Li, Meng Tang, Lingni Ma, Chen Kong, Tanner Schmidt, Ian Reid, Lourdes Agapito, Julian Straub, Steven Lovegrove, Richard Newcombe
Computer Vision and Pattern Recognition (CVPR), 2020, pp. 14720-14729
オブジェクト指向マップは，形状とセマンティクスを共同で捉え，個々のインスタンス化とオブジェクトに関する意味のある推論を可能にするため，シーン理解に重要である．本手法-FroDO-ではマルチビューのRGBビデオを入力とし，オブジェクトインスタンスを正確に3D再構成することができる．FroDOの新規性は，疎な点群で表される3Dと密なDeepSDFで表される3Dをシームレスに切り替えられるところにあり，これにより形状最適化を行っている．Pix3D，Redwood-OS，ScanNetなどの実世界のデータセットに対してFroDOを用いて，シングルビュー，マルチビュー，マルチオブジェクトの3D再構成を評価した．
(発表者:大平 悠貴)
2021.11.5
Hyperspectral imaging enabled by an unmodified smartphone for analyzing skin morphological features and monitoring hemodynamics
Qinghua He and Ruikang Wang
Biomedical Optics Express, vol.11, Issue2, pp.895-910 (2020)
ハイパースペクトル画像の美容学・皮膚科学への応用は人気が高まっている．近年，ハイパースペクトルカメラが開発されたことで，ハイパースペクトル画像に新たな関心が集まっているが，設計や製造が複雑であるため，日常的な使用には向いていない．一方，スマートフォンに搭載されているカメラは近年性能が向上しており，肌の評価のための低コストで手軽な撮像装置として理想的となっている．本研究では，スマートフォンを利用してハイパースペクトル画像を実現する新しい手法を提案する．この手法では，スマートフォンの内蔵カメラで撮影したRGB画像を用いて，Wiener推定を用いた変換を行い，皮膚内の血液，メラニン，酸化ヘモグロビンなどの情報を抽出する．これによって，心拍の検出と，皮膚の血管閉塞効果のマッピングに成功した．
(発表者:日野 湧太)
2021.11.12
Biofeedback Arrests Sympathetic and Behavioral Effects in Distracted Driving
Ioannis Pavlidis, Pradeep Buddharaju, Michael Manser, Robert Wunderlich, Ergun Akleman, Panagiotis Tsiamyrtzis
IEEE Transactions on Affective Computing (Volume: 12, Issue: 2, page(s): 453-465, April-June 2021)
集中力が欠如した状態で機械を操作することは，事故の原因にとなる危険な行為であり，習慣化する恐れがある．特に，近年ではスマートフォンの普及などが原因となり，気が散った状態の運転が非常に問題になっている．先行研究で，注意力散漫の前兆として過覚醒の傾向があることがわかっている．また，過覚醒はサーモグラフィ動画を用いて，鼻周囲の発汗信号から推定される．本研究では，運転のシミュレータ中に被験者の注意力を低下されるタスクを課す実験を行い，リアルタイムで過覚醒を検出し，バイオフィードバックを用いて改善を図った．その結果，バイオフィードバックを行った被験者では注意力散漫になる時間が大幅に短縮された．
(発表者:大久保 匠)
DeepBRDF: A Deep Representation for Manipulating Measured BRDF
Bingyang Hu, Jie Guo, Yanjun Chen, Mengtian Li and Yanwen Guo
Computer Graphics Forum, Volume39, Issue2 p. 157-166
測定されたBRDFの生データは，BRDFをキャプチャして集計するために多くの入射方向と視野方向が含まれており高次元な情報である．
しかし実世界のBRDFは実質的には低次元であるため，本研究では，畳み込みニューラルネットワーク（CNN）を用いて，実世界のBRDFの低次元部分空間を探索するための深層学習ベースの表現であるDeepBRDFを提案する．
提案手法により，高次元のBRDFを大きな再構成誤差を生じることなく，低次元部分空間に符号化することができた．
既存の手法と比較してもBRDFデータ圧縮において非常に効率的で優れた結果が示された．
また，BRDFを操作する様々なグラフィックアプリケーションやビジョンアプリケーションへの応用が期待される．
(発表者:廣瀬 郁美)
2021.11.19
An Intelligent Augmented Reality Training Framework for Neonatal Endotracheal Intubation
Shang Zhao, Xiao Xiao, Qiyue Wang, Xiaoke Zhang, Wei Li, Lamia Soghier, James Hahn
2020 IEEE International Symposium on Mixed and Augmented Reality (ISMAR)
新生児気管挿管(ETI)は重要な蘇生技術となり，臨床現場に出る前に膨大な練習をしなければならない．しかし，現在のマネキンを用いたトレーニングでは，マネキン内のシースルーの映像がないため，インストラクターが正確な評価を行うことが出来ない．また，熟練したインストラクターの数が限られているため，訓練の効率がさらに低下してしまう．そこで，ETIの手順を可視化し，リアルタイムに指導・評価することが出来る，インテリジェントなARトレーニングフレームワークを提案する．具体的には，喉頭鏡とマネキンの動きをキャプチャし，ヘッドマウントディスプレイに3Dのシースルー画像を表示する．さらに，Attention-based CNNモデルを開発し，キャプチャした動作からETIの性能を自動的に評価するとともに，性能評価に大きく寄与する動作領域を特定する．最後に，ETIの採点基準を用いて，より多くの練習が必要な領域をハイライトして色分けすることで，分かりやすいフィードバックを提供する．
(発表者:小野 可夢偉)
A Deep Learning-Based Approach to Video-Based Eye Tracking for Human Psychophysics
Niklas Zdarsky, Stefan Treue, and Moein Esghaei
frontiers in Human Neuroscience
リアルタイムのアイトラッキングは、心理物理学の研究やニューロマーケティングのアプリケーションに重要な情報を提供します。
最新のアイトラッキングの多くは、赤外線カメラで撮影された画像を処理するために、ハードウェアが必要となります。そのため，コストが高いかつ接触型デバイスであるという問題点があります．
本研究では、DeepLabCutを用いて、視線の位置に重要な顔のランドマークを取得し、ニューラルネットワークを用いてコンピュータ画面上の視線の位置を推定することで、
低コストかつ非接触におけるウェブカメラを使用した深層学習ベースの手法を提案します。
(発表者:足田 幸一)
2021.11.26
Adversarial Single-Image SVBRDF Estimation with Hybrid Training
Xilong Zhou and Nima Khademi Kalantari
Computer Graphics Forum, Volume 40, Issue2, pp.315-325
1枚の画像から空間的に変化するBRDF（Spatially-Varying BRDF）を推定するための深層学習手法を提案する．
既存の深層学習手法の多くは，ピクセル単位の損失関数をを最小化することによってネットワークを学習している．
しかし，単一画像SVBRDF推定の問題は非可決であり、多数の受け入れ可能な解が存在するため，ネットワークがグランドトゥルースに準拠することを強制すると，ネットワークの柔軟性が低下してしまう．
さらに，グランドトゥルースのSVBRDFパラメータを取得することは困難であるため，ほとんどの手法は合成画像でネットワークを訓練しており，実例に効果的に一般化できない．
これらの限界を回避するために，このアプリケーションを扱うための敵対的なフレームワークを提案する.
(発表者:岩田 一希)
TDS-Net: Towards Fast Dynamic Random Hand Gesture Authentication via Temporal Difference Symbiotic Neural Network
Wenwei Song, Wenxiong Kang, Yulin Yang, Linpu Fang, Chang Liu, Xingyan Liu
2021 IEEE International Joint Conference on Biometrics (IJCB)
ハンドジェスチャーは，身体的な特徴と行動的な特徴の両方を含んだバイオメトリクス特性である．現在のハンドジェスチャー認証方法は，定義されたジェスチャーに大きく依存しており，登録時と認証時に同一のジェスチャーを必要とするため、ユーザーの使いやすさと認証の効率性が制限されている．ジェスチャーを覚える必要のない，よりシンプルで高速な方法での認証は，より親しみやすいものになることは間違いない. そこで，ユーザーが登録時に使用しなかったランダムなジェスチャーで認証を行うランダムハンドジェスチャー認証を導入する．ハンドジェスチャーの身体的・行動的特徴をよりよく利用するために，行動エネルギーベースの特徴融合モジュール（BE-Fusionモジュール）を開発し，さらにBE-Fusionモジュールを搭載した時間差共生型ニューラルネットワーク（TDS-Net）を提案する．SCUT-DHGAデータセットを用いた大規模な実験により，TDS-Netが最近の最先端の手法を上回ることが示された．
(発表者:宮崎 凌伍)
2021.12.3