1 前语
疲倦是一种生理情况，其特征是人的认识程度下降，难以坚持清醒情况。依据国家安全委员会的查询，在美国，疲惫驾驭导致的致命性事端的占比正在明显上升[1]。因而，开发一种可以提早发现驾驭员生理情况不适宜开车的有用预警体系将具有重要意义。据报导，有研讨显现，心率变异性（HRV）与驾驭员的注意力程度相相关[2]。精确的讲，心率变异性是一个代表个别的生理适应才能和行为灵活性的重要方针。点评心脏运动的办法是运用PPG信号丈量血压，由此再点评心率变异性。详细地说，PPG信号是由代表逐次心动周期的血管容积峰值组成，PPG检测办法是，运用LED光源照耀皮肤的不同部位，再用光电二极管点评光的反射强度[3]。虽然生理信号使咱们可以监测疲倦程度，可是最近的研讨方向主要是运用核算机视觉技能点评驾驭员的疲惫程度[4]。虽然在轿车环境中开发人脸检测体系必定具有挑战性，但仍有许多办法运用摄像头确认眨眼率，由此来点评疲惫程度[5]。与其它研讨不同，咱们的办法侧重于运用核算机视觉技能来检测和提取人脸特征点，经过剖析从前录制的视频序列的像素强度改变，来界说人脸特征点的时刻序列。更详细地说，咱们的办法的基本原理也是经过“视频扩大”来提醒血压改变引起的面部纤细运动。本研讨的意图是经过界说人脸特征点时刻序列而不是运用传感器来构建PPG信号。
本文后边的结构如下：第二部分介绍相关的研讨成果；第三部分概述PPG信号，并介绍咱们的根据长时刻短回忆和卷积神经网络的管道。第四部分解说试验进程。最终，第五部分评论咱们办法的长处和未来研讨方向。
2 相关研讨
在以往宣布的论文作品中，大部分是经过生理信号检测驾驭员疲倦，获得了很高的检测精度。事实上，许多研讨证明，仅根据核算机视觉技能的驾驭员疲惫监测解决计划或许纷歧定行之有用，尤其是侧重于剖析交通标志的视觉办法，在路况欠安时，往往会失利。
一部分科研人员曾发布了一项光体积描绘信号(PPG) 检测研讨成果[6]，作者运用低功率无线PPG传感器获得了很好的检测作用。另一种办法 [7] 是作者运用在手指和耳垂检测到的低频和高频PPG信号来点评疲惫程度。本文引证的研讨成果主要是经过研讨ECG和PPG信号来点评HRV信号。不过，本文所引证的办法对核算功能有较高的要求，需求在车上集成贵重的检测设备。虽然集成的传感器纷歧定是直接丈量东西，但为了精确地获取生理信号，驾驭员仍是需求将手或身体的其它部分（例如耳垂或手指）放在传感器上，这关于在轿车上推广运用是一个约束。本文另辟蹊径，提出一个立异的结构，基本原理是抓取司机面部图画，搜集人脸特征点，重建PPG信号，以此点评HRV信号和疲惫程度。
3 布景和管道计划
如前所述，咱们提出了一种立异的驾驭员疲倦情况监测办法，而无需运用传感器来获取PPG信号。部分学者的研讨成果[8]论述了视频扩大办法是怎么经过扩大一般视频图画来提醒人脸面部的运动改变，由于逐次心动周期中的血压改变会引起皮肤不同部位的色彩改变。研讨证明，自主神经体系活动可调理某些生理进程，例如，血压和呼吸速率，经过点评心率变异性信号可以间接丈量这些生理进程，由于心率变异性信号在生理压力、极度疲惫和疲倦期间会呈现改变。
点评HRV心率变异性需求运用生物反馈东西或软件，以及检测心电信号的高质量传感器，还需求功能强大的处理器来办理很多的数据。ECG信号是传统的心率变异性点评办法，不过，这种办法在运用上存在某些缺点，虽然检测作用杰出，可是在数据搜集（数据采样）进程中，人体的纤细运动会导致信号内呈现一些噪声和伪影。为了战胜ECG的问题，业界提出PPG信号是牢靠的解决计划，检测血液容积改变的才能使PPG可以有用地检测裸眼难以观察到的皮肤纤细运动。特别是，经过剖析PPG信号，咱们可以界定在特定时段内的心率改变，显现自主神经体系的两个分支（副交感神经和交感神经）是否都在正常作业。一般，HRV值小，表明心率距离稳定；HRV值大，则表明心率距离反常。十分正常的心律和心率的纤细改变可以确认注意力是否由于缓慢生理压力而下降。可是，不存在一个规范的HRV值，由于HRV值因人而异。
考虑到这一点，咱们选用长时刻短回忆（LSTM）神经网络[9]与卷积神经网络（CNN）[10]相结合的办法开发了一个驾驭员疲倦监测体系。本文提出的管道机制代表心脏运动点评办法获得了前进，由于它是运用一个低帧率（25fps）摄像头检测和提取人脸图画中的要害特征点，并剖析每个视频帧的像素改变。精确地讲，LSTM是点评数据之间躲藏的非线性相关性的有力解决计划。
详细地讲，LSTM管道的输出是归纳传感器检测到的原始PPG方针数据后猜测的人脸特征点时刻序列。
此外，CNN模型的精确分类表明LSTM猜测有用，可以确认轿车驾驭员的注意力程度。
4 试验
总共有71个方针参加了咱们的LSTM-CNN管道运转。更详细地说，数据集是来自不同性别、年纪（20至70岁之间）和病理的病患/驾驭员的PPG样本。在这种情况下，咱们不只搜集健康方针的数据，还搜集高血压、糖尿病等病患的数据。考虑到这两种疲倦情况的差异，别离丈量了两种疲倦各自的PPG信号样本。详细地而言，咱们模仿被同步ECG采样信号证明的彻底清醒和疲倦两种情形，其间Beta和Alpha波形别离证明大脑在唤醒和疲倦时的活动情况。每种情形的模仿距离设为5分钟，以保证体系有足够的时刻完结开始校准和实时接连学习。一起，咱们运用低帧率（25fps）全高清摄像机记载一段驾驭员的面部视频，如前文所述，咱们先用根据Kazemi和Sullivan机器学习算法 [11] 的dlib库，检测从前录制的视频帧，提取人脸面部特征点，然后，核算与每个特征点相关的像素强度，以及每帧像素强度的改变，确认人脸特征点的时刻序列，将其输入LSTM神经网络。
4.1 CNN管道
本节将更详细地介绍试验中运用的CNN模型架构。本文提出的CNN架构为验证LSTM猜测成果供给有力的依据。详细地讲，咱们的CNN模型可以盯梢和学习轿车驾驭员的面部表情，然后进步疲倦检测水平。为了练习模型，咱们将批巨细(batch size)设为32，初始学习率设为0.0001。此外，咱们在躲藏层中运用了32个神经元，在二进制分类中运用了2个输出神经元。
咱们十分看好试验成果，由于精确率到达80％。
图. 1. LSTM管道
4.2 长短期回忆网络（LSTM，Long Short-Term Memory）管道
关于长短期回忆网络（LSTM，Long Short-Term Memory）检测次序数据（时刻序列）的相关性的才能，咱们构建了一个LSTM模型，用面部特征点时刻序列作为输入数据，原始PPG信号作为方针数据，重建PPG信号（图1）。在运用MinMaxScaler算法调整（0.2，0.8）范围内的一切时刻序列值后，归纳考虑以下参数，咱们进行了模型练习。模仿练习选用256个神经元，批巨细(batch size)128，初始学习率和辍学率别离设为0.001和0.2。为了点评PPG重构信号的鲁棒性，咱们核算了PPG最小点的频率（傅里叶频谱），咱们特别剖析了这些点的频率，比较了原始PPG最小点的频率与重构PPG最小点的频率。
图2.原始PPG最小点的快速傅立叶改换（FFT）频谱（蓝色）和重建PPG最小点的快速傅立叶改换（绿色）。
5 定论
最终，咱们供给了一种根据LSTM-CNN的有用的监测体系，经过PPG信号点评心脏活动来确认驾驭员的疲倦程度。与其它办法不同，咱们的办法是运用面部特征点数据重建PPG信号，不触及传感器体系。如前文所述，咱们构建了LSTM管道，用面部特征点时刻序列作为输入数据，传感器检测到的PPG作为方针数据，证明PPG重构信号的鲁棒性。此外，咱们还构建了CNN模型，不只可以对驾驭员的生理情况进行分类，还可以验证LSTM的猜测成果。最终，咱们核算了原始PPG最小点的快速傅立叶改换（FFT）频谱和重构的PPG最小点的FFT频谱（图2）。试验成果证明，咱们的办法有宽广的运用远景，由于咱们可以区别打盹的方针与清醒的方针，精确率挨近100％，这与科学文献报导的相似管道获得的均匀成果共同。运用改善的PPG传感器[12]，以及运用Stacked-AutoEconder架构[13]学会的特别功能对PPG信号进行深度处理，将会给本文提出的管道带来哪些改善，是本文作者现在正在研讨的方向。
参考文献
[1] National Safety Council: https://www.nsc.org/road-safety/safety-topics/fatality-estimates
[2] Melo, H. M., Nascimento, L. M., Takase, E., Mental fatigue and heart rate variability (HRV): The time-on-task effect. Psychology & Neuroscience, 10 (2017) 428-436.
[3] Rundo, F.; Ortis, A.; Battiato, S.; Conoci, S., Advanced Bio-Inspired System for Noninvasive Cuff-Less Blood Pressure Estimation from Physiological Signal Analysis, Computation 6 (2018) 46.
[4] Zhang, W., Cheng, B., Lin, Y., Driver drowsiness recognition based on computer vision technology, Tsinghua Science and Technology 17 (2012) 354-362.
[5] Haq, Z. A., Hasan, Z., Eye-blink rate detection for fatigue determination. In 1st India International Conference on Information Processing (IICIP), Delhi, India, 2016, 1-5.
[6] Xu Y. J.; Ding, F.; Wu, Z.; Wang, J.; Ma, Q.; Chon, K.; Clancy, E.; Qin, M.; Mendelson, Y.; Fu, N.; Assad, S.; Jarvis, S.; Huang, X., Drowsiness control center by photoplythesmogram, In Proceedings of 38th Annual Northeast Bioengineering Conference (NEBEC), Philadelphia, USA, 2012, 430-431.
[7] Koh, S.; Cho, B. R.; Lee J.-I.; Kwon, S.-O.; Lee, S.; Lim, J. B.; Lee, S. B.; Kweon, H.-D., Driver drowsiness detection via PPG biosignals by using multimodal head support, In Proceedings of the 4th International Conference on Control, Decision and Information Technologies (CoDIT), Barcelona, Spain, 2017, 383-388;
[8] Wu, H.-Y., Rubinstein, M., Shih, E., Guttag, J., Durand, F., Freeman, W. T. Eulerian Video Magnification for Revealing Subtle Changes in the World. ACM Transactions on Graphics 31 (2012)
[9] Hochreiter, S., Schmidhuber, J, Long Short-Term Memory, Neural Computation 9 (1997) 1735 1780
[10] Lecun, Y., Bengio, Y., Convolutional Networks for Images, Speech, and Time-Series, The Handbook of Brain Theory and Neural Networks (1995).
[11] Kazemi, V., Sullivan, J., One millisecond face alignment with an ensemble of regression trees., In 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, USA, 2014, 1867-1874.
[12] Mazzillo, M., Maddiona, L., Rundo, F., Sciuto, A., Libertino, S., Lombardo, S., Characterization of SiPMs With NIR Long-Pass Interferential and Plastic Filters, In IEEE Photonics Journal, 10 (2018) 1-12.
[13] Rundo, F., Conoci, S., Banna, G.L., Ortis, A., Stanco, F., Battiato, S., Evaluation of Levenberg-Marquardt neural networks and stacked autoencoders clustering for skin lesion analysis, screening and follow-up, IET Computer Vision 12 (2018) 957-962.
