本项目是Daniel-ChenJH 2023年在上海交通大学的本科毕业设计项目“基于毫米波雷达的无线感知智能化算法设计”。
此处公开，仅做展示个人经历之用。未经Daniel-ChenJH本人书面许可，任何个体、单位或组织不得擅自修改、使用本项目中的任何内容，亦不得擅自对本项目进行二次开发、移作他用。
Daniel-ChenJH对本项目保留一切法律权利。
此处仅简略展示项目技术方案与部分实验结果，更详细的内容请移步Daniel-ChenJH的毕业设计论文Final Essay.pdf。
智能家居领域中基于毫米波雷达的无线感知智能化算法正在被广泛研究、应用，然而传统的智能家居感知算法无法对人际遮挡进行很好地处理，环境中移动的目标如窗帘、风扇等也都会对传统算法的性能产生较大影响；常见的人工智能算法在智能家居领域又存在需要大量实场数据训练、模型精度不高的问题。
针对上述问题，本文提出了一种将模型的特征队列提取与任务输出需求相解耦的系统架构、设计了一套面向实场环境的毫米波雷达人体位置预测与动作分类算法，并通过将采集到的仿真、真实数据输入模型进行实验验证了算法架构的合理性与有效性。
本文的具体研究内容包括：
-
设计了一种将模型的特征队列提取与任务输出需求相解耦的系统架构。该架构通过寻找多种任务需求中通用的中间信息，将特征提取和任务需求解耦，针对特定任务使用特定输出头，解决了传统端到端网络中可解释性、可操纵性差的问题，提高了模型的鲁棒性和可移植性，为无线感知智能化算法提出了新的架构。
-
设计了一套可调节的、面向实场环境的毫米波雷达人体位置预测与动作分类算法。该算法充分考虑到毫米波雷达数据不具有平移不变性、包含大量位置信息的特点，通过对计算机视觉领域的Detection Transformer模型进行分析和针对毫米波雷达领域的创新性、适配性修改，解决了智能家居领域中基于毫米波雷达的无线感知智能化算法模型精度不高的问题。
-
完成了本文系统架构与算法在不同类型数据输入情况下的可行性与实用性评估。通过将生成的仿真数据和实场采集、解析得到的真实数据输入模型进行分类预测，实验结果证明了本文系统架构的可行性与算法的有效性和实用性。
关键词：智能家居，无线感知，Detection Transformer，毫米波雷达，人体位置检测
对于整个系统，我们的需求是输入雷达原始信号，根据实际任务得到各种功能性结果，如识别、追踪、姿态、动作等。如果直接使用一个端到端的网络，则该系统的可解释性与操控性是很差的。
经过调研后我们发现，这些实际任务在输出最终结果的时候都依赖于对人体某些关键特征的提取与定位。因此，一个简单的思路是将人视为“火柴人”，即将复杂的人体结构简化为人体几十个关键点部位的连接，可以大大简化网络规模与计算量。骨架关键点是一个比较通用且关键的中间信息，得到了比较准确的骨架关键点，就可以方便的进行后续识别、追踪、姿态、动作等多样化的功能，Transformer的骨干网络则能与后面的部分解耦。
因此，如果能构建通用的中间特征信息如人体骨架关键点或锚定框，即可将模型的特征队列提取与任务输出需求解耦，针对不同的任务需求将特征队列输入不同的输出头、得到相应输出。
我们考虑将整个系统分成以下三个部分：
-
第一部分是对雷达RDM数据通过一些简单方式进行预处理，尽可能多的保留数据的幅值信息和相位差信息。
-
第二部分是以预处理好的雷达信号作为输入，使用Transformer作为主体网络进行处理，最终期望得到人体的人体锚定框信息。
-
第三部分是通过得到的人体锚定框信息，根据实际任务需求进行后续功能的实现。
我们首先将雷达和Kinect采集到的数据进行解析、匹配，得到完整的、可用于训练的数据。针对毫米波雷达信号，我们进行Range-Doppler FFT，得到距离-多普勒热力图并输入到经过毫米波雷达适配性修改后的DETR主体网络Transformer中，由Transformer网络将输入数据升维到高维可分可预测空间中，并输出由各数据的嵌入空间向量构成的特征队列。这个特征队列是非常重要的中间数据，它包含了使原始输入数据高维可分可预测的所需全部信息，可根据实际使用场景及需求将该特征队列输入到对应的后处理算法、分类器中，如卷积神经网络、人体检测器、循环神经网络等，完成姿态检测、人体存在性检测、人体位置预测以及多人追踪等不同任务。
由于得到中间数据特征队列后，根据目标任务的需要进行一定的后处理与输出头设计，即可很好地完成对应任务，因此在本文中我们主要讨论人体位置预测（回归）与动作识别（分类）两种任务，其余任务可以视为这两种任务的简单类比。
本文提出了一种将模型的特征队列提取与任务输出需求相解耦的系统架构，并在这个架构下进行了实验数据采集、训练，解决了智能家居领域中基于毫米波雷达的无线感知智能化算法模型精度不高的问题，完成了基于毫米波雷达的无线感知智能化算法设计。
本文提出在毫米波雷达智能家居领域，可以通过构建通用的中间特征信息如人体骨架关键点或锚定框的方式把不同的任务统一起来，这种实现方式相比端到端的网络有更好的鲁棒性、适用性和可移植性。在本文的技术路线下，我们针对计算机视觉领域的Detection Transformer模型进行了分析和针对毫米波雷达领域的创新性、适配性修改，并进行了仿真数据生成和真实数据采集与解析。
我们对修改后的DETR模型进行了实验评估，结果表明，在人体位置检测任务上，真实数据基础实验的人体检出率为92.53%，锚定框交并比值为0.7748，脊柱底端预测误差达到0.0547m。在加入动作分类的实验中，人体检出率为93.30%，交并比值为0.7854，脊柱底端预测误差达到0.0517m，动作分类准确率达到99.12%。在加入动作分类与倾角预测实验中，人体检出率为93.73%，交并比值为0.7913，脊柱底端预测误差达到0.0486m，倾角预测误差为1.39°，动作分类准确率达到99.22%。
对比真实数据锚定框系列实验的三个实验结果，我们认为模型很好地同时完成了预测与分类这两种不同的任务，且加入动作分类、加入倾角预测都对模型的性能有所提升，这证明了本项目系统架构与技术路线的合理性。
最终，我们的模型在人体动作分类任务上达到了99.22%的准确率，在人体位置检测任务上达到了93.73%的检出率和0.7913的锚定框交并比值。
由于时间关系，本文的实验研究主要专注于将DETR从计算机视觉领域移植到毫米波雷达领域，因此本文的研究工作还有进一步完善的空间。在本文研究成果的基础上，还有值得进一步深入展开的研究工作，具体来说这些工作包括但不限于：
- 减小网络结构与参数数量，提升网络的可部署性与实时性；
- 通过数值对比实验进行超参数的进一步调优，提升实验结果；
- 在本项目的系统架构下完成针对其余智能感知任务的输出头实现。