面部表情是人类通过面部肌肉的运动和变化来表达情绪、态度和反应的重要表达渠道。面部表情识别是指利用技术自动检测和分析面部表情的变化，以识别和分类不同的情绪状态。近年来的研究推动了面部表情识别技术的发展，但仍存在一些不足，其中主要原因是目前的研究主要依靠单一传感器信号进行面部表情识别，这可能导致以下问题：从单个传感器信号中提取的面部表情特征有限，数据量不足，在采集过程中容易受到外部因素的干扰，降低了系统的抗干扰能力。上述问题将导致人脸表情识别系统的准确性下降，影响其整体鲁棒性。为了解决这一问题，山东大学李阳教授团队创造性地提出了一种融合多传感器信号的方法，采集更多的面部表情分类特征，提高了面部表情识别的准确率。通过使用生物相容性材料制备柔性传感器，并集成多个传感器信号，有望克服单个信号的局限性，提高系统的鲁棒性、识别精度和可穿戴性。该研究以“Machine-Learning Enabled Biocompatible Capacitive-Electromyographic Bimodal Flexible Sensor for Facial Expression Recognition”为题，发表在最新一期《Advanced Functional Materials》上，济南大学硕士郜建强为第一作者，济南大学牛闳森副教授、青岛大学李元岳副教授和山东大学李阳教授为论文共同通讯作者。
【基于电容-肌电双模传感器的面部表情识别系统的概念图】
本研究提出了一种电容-肌电双模传感器（CEDS）用于获取高保真的电容和肌电信号，并结合一维卷积神经网络（1D-CNN）算法构建了一个先进的面部表情识别系统，实现了面部表情的高精度识别（图1a）。对传感器进行生物相容性和抑菌性测试。结果表明，它穿着舒适，具有良好的耐磨性，并表现出优异的生物相容性和抑菌性能。
图1 基于柔性传感器的面部表情识别系统的概念图、表征和生物相容性测试
【CEDS的性能测试】
CEDS由电容式压力传感单元和用于电生理信号监测的干电极组成，并使用3D堆叠方法组装。其中，上部为电容式压力传感器，电极基板采用混合液相分离法制备多孔结构，以提高电容性能。使用静电纺丝构建介电层，以产生具有纺锤结（SK）结构的纳米纤维膜，在电极层和介电层之间形成双耦合微观结构。此外，1-丁基-2,3-二甲基咪唑氯化物盐（BMMICl）的掺杂实现了双电层（EDL）效应，显著提高了传感器的性能。与凝胶电极相比，使用干电极简化并缩短了生理电信号信号的采集过程。此外，由于需要与皮肤直接接触，传统的凝胶电极通常会造成皮肤刺激和感染的风险，而干电极更有可能满足生物相容性要求。因此，干电极传感器用于电生理信号监测，解决了水凝胶电极引起的皮肤刺激和失水问题，更适合长期使用。
图2 CEDS的电容响应性能
面部表情是表达情感和意图的主要方式之一，涵盖了丰富的情感和认知信息。人脸的主要肌肉群帮助我们实现各种丰富的表情，如图4a所示。与仅使用单个信号识别面部表情的传统方法不同，作者结合了面部EMG信号和电容信号，通过综合分析这两个信号的特征来提高面部表情识别的准确性（图4b）。该系统包括电容式数字转换器（CDC）模块、EMG信号采集模块、主控制芯片（MCU）和蓝牙模块。它能够同时采集电容和EMG信号，并通过蓝牙将其无线传输到主机，用于数据分析和面部表情识别。在本研究中，创新性地捕获了面部表情变化过程中的电容信号和肌电信号，并利用1D-CNN进行分类。这两种信号的协同效应提供了更多的面部表情特征，显著提高了神经网络的训练效果和分类能力，大大提高了面部表情识别的准确性。总结：在这项工作中，作者提出了一种电容-肌电双模传感器，结合1D-CNN实现了高精度的面部表情分类。为了提高电容响应性能，巧妙地引入PVDF膜的多孔结构和PVA/BMMICl膜的SK结构，在电极层和介电层之间创建双耦合微观结构；同时，通过掺杂BMMICl，电容式传感器产生了EDL效应，有效地提高了传感器的响应性能。此外，干电极传感器用于电生理信号监测，克服了与水凝胶电极相关的皮肤刺激和失水问题，并显示出更好的长期使用适用性。通过细胞毒性和细菌抑制试验验证了CEDS的良好生物相容性和抗菌性能。最后，作者探索了一种基于离子电效应的疲劳驾驶监测系统、一种基于电生理信号监测的机器人控制系统和一种结合电容和肌电信号的面部表情识别系统，该系统能够实时监测和识别八种面部表情。研究表明，CEDS显著提高了识别精度，展示了其在面部表情监测系统中的巨大潜力，并为智能可穿戴设备和人机交互技术的发展提供了宝贵的见解。https://onlinelibrary.wiley.com/doi/10.1002/adfm.202418463牛闳森， 济南大学信息科学与工程学院副教授，校聘学科带头人，主要研究领域：智能触觉传感器设计与制备；感知与认知系统设计与集成；先进集成电路制造工艺。近5年已累计发表SCI检索论文20余篇，其中以第一/通讯作者在Adv. Mater.、Adv. Funct. Mater. (2篇)、Adv. Sci.、InfoMat (3篇)、Small (3篇)、Nano Energy等期刊发表SCI论文14篇，均为中科院一区，单篇被引用超过200次论文2篇，期刊封面文章2篇，ESI 高被引 & 热点论文3篇，授权国家发明专利5项，主持中国博士后科学基金面上项目。中国材料研究学会智能传感功能材料与器件分会委员会委员；国际学术期刊Soft Science、Moore and More青年编委。李元岳，副教授，硕士生导师，青岛大学特聘教授。2016年6月博士毕业于中国科学院固体物理研究所材料物理与化学专业，目前主要研究方向为可穿戴电子器件的设计、制备、仿真、性能优化及智能应用，主持国自然青年基金、省自然面上/青年基金、中国博士后基金等项目，以第一/通讯作者在Small、Nano Energy、Chemical Engineering Journal等期刊发表高水平论文20余篇。李阳，山东大学集成电路学院教授，博士生导师，IEEE高级会员，科技部中韩青年科学家、山东省泰山学者青年专家、山东省高校集成电路创新团队带头人、山东省优青、山东省青年科技人才托举工程入选者、齐鲁青年学者，主持国家自然科学基金项目、科技部项目、山东省优秀青年基金项目、山东省重点研发计划项目等省部级以上项目10余项。主要研究领域：新一代半导体材料与器件；“传感存算一体化”芯片系统。已累计发表SCI检索论文100余篇，其中以第一作者/通讯作者在Chem. Soc. Rev.、Matter、Adv. Mater.、Adv. Funct. Mater.、Adv. Sci.、IEEE Trans. Electron, Dev. 等领域内顶尖期刊上发表中科院一区文章45篇，包含封面文章10篇，授权国家发明专利15项，韩国发明专利11项。