2024.10.11
Orientation-conditioned Facial Texture Mapping for Video-based Facial Remote Photoplethysmography Estimation
Sam Cantrill, David Ahmedt-Aristizabal, Lars Petersson, Hanna Suominen, Mohammad Ali Armin
Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024.
本研究では、カメラを用いるrPPG測定手法を改善するために、3D顔モデルを利用した新しい方向条件付き顔テクスチャビデオ表現を提案しています。この方法により、動的かつ制約のない被験者の動きによる顔の変動に対するロバスト性が向上しました。提案手法は、MMPDデータセットでのクロスデータセットテストにおいて、従来のベースラインに対し18.2%のパフォーマンス向上を実現し、全ての動作シナリオで最大29.6%の改善を示しました。
(発表者:外山 幸太)
2024.10.11
Estimation of blood pressure waveform from facial video using a deep U-shaped network and the wavelet representation of imaging photoplethysmographic signals
Frédéric Bousefsaf , Théo Desquins , Djamaleddine Djeldjli , Yassine Ouzar , Choubeila Maaoui , Alain Pruski
Biomedical Signal Processing and Control Volume 78 , September 2022, 103895
ビデオからの生理学的信号の遠隔測定は、ここ数年で特に注目を集めているが，心血管パラメータの推定は，研究が多くなく，依然として非常に困難な問題である．これに対し，公正な比較を容易にするために公開されているデータからBPを推定するフレームワークを提案する．本研究ではイメージングフォトプレチスモグラフィー(iPPG)信号の対応物から血圧波形を推定するために，深層U字型ニューラルネットワークを開発および訓練した．このモデルは，iPPG 信号の CWT から BP 信号の連続ウェーブレット変換 (CWT) 表現と逆 CWT 変換を計算し，特徴量として用いている．提案されたフレームワークは，AAMIとBHSによって開発された国際基準を使用して，57人の参加者で評価した．結果は，グラウンドトゥルースのBP値とほぼ一致しており，この手法は平均血圧と拡張期血圧(グレードA)の推定におけるすべての基準を満たし，収縮期血圧(グレードB)の推定におけるほぼすべての基準を満たした．
(発表者:川嵜 彩恵)
2024.10.18
Real-time mental stress detection using multimodality expressions with a deep learning framework
Zhang Jing , Yin Hang , Zhang Jiayu , Yang Gang , Qin Jing , He Ling
Frontiers in Neuroscience, 2022
精神的ストレスに対処するため，ストレスを早期に検出することは重要である．従来のストレス検出は，主にシングルモダリティに依存していたが，本研究ではECG，音声，表情のマルチモダリティを融合させたリアルタイムの深層学習フレームワークを提案する．ResNet50とI3Dを使用して各信号の特徴量を抽出し，行列固有ベクトルベースのアプローチでこれらの情報を融合する．その結果，85.1%の精度で急性ストレスを識別できることが示され，有効性が確認された．
(発表者:石黒 理雄)
2024.10.18
rPPG-MAE: Self-Supervised Pretraining With Masked Autoencoders for Remote Physiological Measurements
Xin Liu , Yuting Zhang, Zitong Yu, Hao Lu, Huanjing Yue, Jingyu Yang
IEEE Transactions on Multimedia ( Volume: 26), Page(s): 7278 - 7293, 09 February 2024
遠隔光電式容積脈波（rPPG）は，⼈間のバイタルサイ ンを知覚するための重要な技術であるが，従来の手法は大量のラベル付きデータに依存し，グランドトゥルースの生理信号の取得が困難であるという問題がある．この課題を解決するために，対照学習に基づいた自己教師あり手法が提案されているが，これらは生理信号の特性やノイズへの対応に限界がある．そこで本論文では生理信号の自己相似性を抽出する線形自己教師付き再構成タスクを設計し，ノイズに対する耐性を高めた新たなフレームワークrPPG-MAEを提案する．VIPL-HR ，PURE ，UBFC-rPPG と いう３種類の公開データセットで提案⼿法を評価した結果，提案⼿法は既存の⾃⼰教師あり⼿法を凌駕 するだけでなく，最新の教師あり⼿法(SOTA)をも凌 駕することが⽰された．
(発表者:今井 良祐)
2024.10.25
MLP-Mixer: An all-MLP Architecture for Vision
Ilya Tolstikhin , Neil Houlsby , Alexander Kolesnikov , Lucas Beyer ,Xiaohua Zhai, Thomas Unterthiner, Jessica Yung, Andreas Steiner,Daniel Keysers, Jakob Uszkoreit, Mario Lucic, Alexey Dosovitskiy
arXiv:2015.01601v4 [cs.CV] 11 Jun 2021
今回はMLP-Mixerアーキテクチャを提案する。これは、技術的にも概念的にもシンプルでありながら、競争力があるある.Mixerのアーキテクチャは、畳み込みを使用せず、代わりにMLP（多層パーセプトロン）を用いて、空間的位置や特徴チャネルに繰り返し適用します。Mixerは、基本的な行列積ルーチン、データレイアウトの変更（リシェイプや転置）、およびスカラー非線形性に基づいている。
(発表者:石田 悠人)
2024.10.25
Emotion detection from ECG signals with different learning algorithms and automated feature engineering
Faruk Enes Oguz，Ahmet Alkan，Thorsten Schöler
Signal, Image and Video Processing, 2023
生理学的信号を通じた感情認識は、心理状態の検査やバイオフィードバックに基づくアプリケーションの開発において非常に重要である。本研究では、感情価-覚醒の2つのカテゴリに基づいた感情検出アルゴリズムが提案しており、MAHNOB-HCIデータベースから取得したECG信号の記録を使用した。ECG信号の形態学的特徴と心拍変動（HRV）特徴に自動特徴工学アルゴリズムを適用して、新たにサンプル数を増加させ、特徴の重み付けを行った新しい特徴ベクトルを生成した。その結果双方向長短期記憶（BiLSTM）で感情価カテゴリでは78.28%、覚醒カテゴリでは83.61%の精度が得られ、自動特徴工学アルゴリズムの有効性が確認できた。
(発表者:板谷 優輝)
2024.11.1
Exploring the Effects of VR Activities on Stress Relief: A Comparison of Sitting-in-Silence, VR Meditation, and VR Smash Room
Dongyun Han, Donghoon Kim, Kangsoo Kim, Isaac Cho
2023 IEEE International Symposium on Mixed and Augmented Reality (ISMAR)
さまざまなストレッサーに直面することで精神的，身体的にネガティブな反応が引き起こされる．健康な生活を送るためにはストレスを管理および軽減することが重要であり，瞑想や自然散策、スマッシュルームで物を壊すなどのさまざまなアプローチが提案されている．近年の技術進歩により，仮想現実を用いたストレス管理アプローチが効果的であることが有用であることが明らかになっているが，異なるVR体験とユーザープロフィールの関係は不明である．そこで，本研究ではVR瞑想とVRスマッシュルームの効果を静座と比較し，ユーザープロフィールに着目して調査した結果，VR瞑想の優位性と被験者の性格との関連を明らかにした．
(発表者:清原 大稀)
2024.11.1
How Suboptimal is Training rPPG Models with Videos and Targets from Different Body Sites?
Bjorn Braun, Daniel McDuff, Christian Holz
IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2024
rPPGによる血液量脈拍の遠隔カメラ計測は拡張性や低コストで心血管情報を評価できる技術であり, ニューラルネットワークがその発展に寄与しています. 従来は指先の接触PPG信号をターゲットに顔のビデオでモデルを訓練していましたが, 異なる部位のPPG信号は形態が異なります. 新しいデータセットを用いた研究では額のPPG信号を使用することで指先よりも最大40％予測精度が向上し, モデルは波形をより忠実に学習できることが確認されました.
(発表者:遠藤 響)
2024.11.8
Mip-NeRF: A Multiscale Representation for Anti-Aliasing Neural Radiance Fields
Jonathan T. Barron Ben Mildenhall Matthew Tancik Peter Hedman Ricardo Martin-Brualla Pratul P. Srinivasan Google UC Berkeley
CVPR 2022
自由視点の画像生成手法として提案されたNeural Radiance Fields(NeRF)で使用されるレンダリング手順では、1ピクセルにつき1本の光線でシーンをサンプリングする。そのため、画像間のピクセルの違いや、カメラ位置と物体との距離により輪郭がぼやけ、精度の低下や計算コストの上昇がみられる。我々が提案するmip-NeRF(mipはmipmapの意)はシーンをスケールで表現し、光線の代わりに円錐でレンダリングすることにより、エイリアスを大幅に低減することに成功した。具体的には、NeRFと比較して平均エラー率を17%低減し、同等の精度で22倍高速であった。
(発表者:山﨑 奎典)
2024.11.8
YOLOv10: Real-Time End-to-End Object Detection
Ao Wang, Hui Chen, Lihao Liu, Kai Chen, Zijia Lin, Jungong Han, Guiguang Ding
NeurIPS 2024, the Thirty-Eighth Annual Conference on Neural Information Processing Systems
過去数年間でYOLO（You Only Look Once）はリアルタイム物体検出の分野において、計算コストと検出性能のバランスの良さから主要なモデルとして台頭してきた。しかし、従来のNMS（Non-Maximum Suppression：非極大抑制） に依存する後処理が、YOLOの計算速度向上を妨げていた。そこで、本研究（YOLOv10）では新たなDual head Assignmentsという後処理を導入し、YOLOの精度と速度両方の向上を行った。また随所に1*1 Convolution層を組み込んだり、ランクごとにモデルの順番を入れ替えたりし、モデルの改善を行った。YOLOv9と比較し46%の速度向上を達成した。
(発表者:村井 利成)
2024.11.22
Real-Time Neural BRDF with Spherically Distributed Primitives
Yishun Dou， Zhong Zheng， Qiaoqiao Ji， Bingbing Ni，Yugang Chen，Junxiang Ke
CVPR2024
非常に汎用性の高いマテリアル表現を提供しながら、メモリとニューラル計算の消費量が少なく、リアルタイムレンダリングを実現するニューラルリフレクタンスモデル (NeuBRDF) を提案する。BRDF をそれぞれ入ってくる方向と出て行く方向の 2 つの半球特徴グリッドに投影する。次に、学習可能なニューラル リフレクタンスプリミティブを、半球特徴グリッドに分散する。このプリミティブは、各半球コンポーネントに有益な特徴を提供し、特徴学習ネットワークの複雑さを軽減して、迅速な評価を実現する。NeuBRDF は、さまざまな材質を一貫して表現するための統一されたフレームワークを提供する。
(発表者:神取 歩)
2024.11.22
Deep Pulse-Signal Magnification for Remote Heart Rate Estimation in Compressed Videos
Joaquim Comas, Adria Ruiz, Federico Sukno
IEEE Conference on Computer Vision and Pattern Recognition, 2024
リモートでの心拍数推定精度を向上させるためrPPG技術が進展する一方、ビデオ圧縮はその精度を低下させる課題があります。本論文では、ビデオ圧縮の影響を抑えるため、rPPG信号の拡大変換を利用した新しいアプローチを提案しています。この方法は、圧縮されたビデオを非圧縮データ領域での信号拡大に適応させることで、心拍数推定の精度向上を目指します。UCLA-rPPG、UBFC-rPPGのデータセットで有効性を確認し、MAHNOB-HCIやCOHFACEなど高度に圧縮されたデータセットでも優れた結果を示しました。
(発表者:杵渕 雅也)