以下文章来源于智能体 ，作者旺仔小辣条

【一· 人工智能应用背景】

【1.人工智能的行业背景】

2019 年，教育部发布“《普通高等学校职业教育(专科)专业目录》 2019 年增补专业”

【1.2 人工智能行业人才需求】

【1.3 人工智能行业岗位分析】

【二·培养目标】

【三·课程体系介绍】

1. 人工智能教学实验平台

2. 嵌入式及无人机案例试验箱

3. 机器视觉开发平台

4. 飞行模拟训练系统

5. 基础训练无人机

6. 教学无人机程控开发平台

7. 航迹规划系统

8. Python二次开发SLAM无人机

9. AI视觉无人机（Owl）

10. 多智能体控制系统

【四·人工智能基础】

【4.1 涉及课程】

【4.2 方案特点】

• 平台特色

• 采用了人工智能计算机视觉与语音技术+嵌入式Linux技术+物联网技术+机械臂控制技术+AR技术的融合；
• 同时满足了“人工智能+嵌入式”、“人工智能+物联网” 、“人工智能+机器人”的基础教学需求；
• 设计了多个创新教学项目：AI计算机视觉仓库货物分拣、整理；AI语音机械臂控制、货物分拣；AR仓库货物分拣等；
• 百度AI开放平台调用，实现在线图像识别；
• 视觉摄像头结合机械臂，采用了移动侦测目标方式（非固定摄像头方式）；
• 采用了高性能的人工智能计算单元；
• 设置了全键盘，可实现直接在实验箱上的Ubuntu系统中进行应用程序开发；
• 配套设计了系统的“嵌入式人工智能”课程体系；
• 配套系统的Python、TensorFlow、PaddlePaddle及人工智能机器学习相关理论及应用实验；
• 配套系统的STM32开发、机械臂开发以及物联网技术开发的相关理论及应用实验；
  
  
• 物联网与边缘计算的项目。

• 试验箱结构图

• 试验箱人工智能学习算法

• 试验箱项目界面

• 模拟飞行训练系统

无人机飞行训练模拟器规格参数要求：

• 尺寸：长20x宽18.5x高10cm；

• 重量：470g；

• USB插头线长：1米；

• 接口类型：标准USB插头；

• 支持通道调试，支持通道独立训练；

• 支持遥控器校准，遥控器具有微调功能，具有开关量通道和模拟量通道模拟操作；

• 支持固定翼、直升机、多旋翼模式切换；

• 软件支持飞行环境的切换（晴天，雨天、风向、风速等环境等至少两种）； 

• 支持固定视角、第一视角等多种飞行模式，系统真实感要强、遥控器需操作简单 ；

• 遥控器支持：R-XTR、G3-G4.5、APD、PhoenixRC；

• 11、满足学生训练基础飞行技能需要；

• 12、满足AOPA等考证模拟飞行训练需要。

• 基础训练无人机（装、调、飞、控）

是一款专为教学而生的无人机实训平台。外观设计精美，机身采用高强度碳纤维和航空铝材质，配以M3内六角碳钢螺丝，牢固可靠，不易损坏，寿命长，可适用于反复拆装，提供完备的使用说明书，拆装调试教程等学习资料，不仅可进行无人机相关教学以及零部件调试、故障检测维修、地面站调试与设置等学习，还可以用于学科竞赛，可以一机多用，是各院校无人机实训实验室的首选产品。该机型支持无人机桌面飞行调试系统，不仅解决了场地限制的问题，在尽可能小的空间进行调试和试飞，还可以保证调试和试飞过程中的人员和财产的安全，减少风险，让学校开设类似课程不再有后顾之忧。

产品特色：一机多用，整机拆装，硬件调试，故障检修，软件调参，飞行训练、代码开源。

配置参数：

对角轴距：380mm

机架材质：碳纤维

尺寸（长宽高）：300*300*180mm

整机重量：980g

最大起飞重量：1300g

飞行时间：20-25min

电池：3S/5200mAh

电机：2212/KV980

【5.2 嵌入式及无人机案例试验箱(飞控、嵌入式)

简介

无人机作为一个复杂工程，是一个多学科交融的载体平台，其中涉及无人机设计原理、空气动力学、自动化、电子信息、嵌入式、计算机科学、机械设计等专业课程系统教学较为困难，所以我司将无人机飞控拆解实现单独教学，并结合院校的现有课程进行课程建设。可针对如下几个方面开展对应课程：

• 开展基础的单片机课程；

• 以嵌入式实验箱和各类板载传感器为载体，开展具有特色的传感器课程；

• 以无人机的飞控为载体，开展具有特色的嵌入式课程；

• 以嵌入式实验箱和无人机为载体的飞控原理及控制技术课程。

利用星环科技嵌入式及无人机案例实验箱可完成现有的单片机、嵌入式、传感器、自动控制原理等课程的同时，亦可完成无人机的飞控入门教学实验。

该实验箱的特色在于不但可以满足传统的嵌入式及STM32相关课程的实验需求，而且还为课程设计提供了丰富精彩的无人机飞控工程案例化实验。

该实验箱由四大部分组成：

• STM32嵌入式实验板卡；

• 平面对轴平衡调试平台；

• 遥控控制器及相关配件；

• 四轴空心杯飞行器。

• 相关实验

利用星环科技的无人机开源教学实验平台与嵌入式及无人机案例实验箱可对无人机飞控系统进行系统建模、飞行原理讲解、控制算法实现和参数整定，并且通过星环科技独有的无人机对轴调试平台可将无人机控制进行拆解，完成 无人机对轴的平衡调试。

利用星环科技的无人机开源教学实验平台与嵌入式及无人机案例实验箱可对无人机飞控系统进行系统建模、飞行原理讲解、控制算法实现和参数整定，并且通过星环科技独有的无人机对轴调试平台可将无人机控制进行拆解，完成无人机对轴的平衡调试。

配套教学资源：

• 样例历程及样例实现演示视频

• 实验指导书

• 原理图、使用手册等

【5.3 机器视觉开发训练平台】

Bird Vision 4.0机器视觉实验平台是一款功能强大的嵌入式机器视觉实验平台，不但可以满足机器视觉开发的教学需求，而且单独可用作于机器人、无人机的视觉模组。实验平台配备了支架与实验图形卡纸，让教师带着学生在实验桌上就可完成丰富的实验案例。另外，实验平台搭载多核处理器，大大提升拓展开发的空间。

主要特点有：

1、内嵌全套OpenCV机器视觉库；

2、可使用Windows版本下的开发软件进行直接开发；

3、可使用Python语言开发视觉应用算法；

4、具备多种算法应用案例程序；

5、内嵌ROS机器人系统、可支持双目、激光雷达等应用案例；

（OpenCV for Python），介绍了图像处理的方方面面。本书以 OpenCV官方文档的知识脉络为主线，并对细节进行补充和说明。书中不仅介绍了 OpenCV 函数的使用方法，还介绍了函数实现的算法原理。在介绍 OpenCV 函数的使用方法时，提供了大量的程序示例。

配套教学资源：

1、教学书籍《OpenCV轻松入门 面向python》

2、 python基础样例

3、机器视觉样例

4、 人工智能识别样例

5、 样例卡纸、使用手册等

【5.4 教学无人机程控开发平台】

• 简介

XH-500XJ是一款专为竞赛编程设计的程控无人机开发实训平台。通过搭载的机器视觉模块、光流测速传感器以及超声波测距传感器，可以实时获取地面上的模拟道路信息和高度信息，识别并跟踪地面上的轨道，起飞、精准寻迹、悬停、转弯、精准降落全程均可自主完成。飞控开源，同时预留众多外部接口，符合各类无人机相关竞赛要求，可根据竞赛要求进行二次开发，非常适合各类高校及职业院校使用。

产品特色：智能视觉寻迹，编程开发

• 参数

配置参数：

对角轴距：500mm

机架材质：碳纤维

尺寸（长宽高）：450*450*310mm

整机重量：1100g

最大起飞重量：1500g

飞行时间：15-20min

电池：3S/5200mAh

电机：2212/KV980

【5.5 航迹规划系统】

基于光学动作捕捉系统的无人机高精度室内定位，轻松实现室内悬停，便于室内飞行训练、科研、展示等场景使用。

用于准确测量物体（刚体）在室内三维空间运动信息的设备。具有高精度的室内定位能力，能够给室内小车、无人机、机器人、机械手臂等智能体提供高精度的空间位置信息。

• 用途

算法验证、轨迹规划、集群控制、深度学习验证、智慧沙盘等

• 提升飞控系统开发效率

在对无人机飞行控制系统进行开发时，工程师需要对空中悬停、飞行中避障、机身姿态控制、着陆等功能进行开发和测试，因此工程师需要一把工作在三维空间中的尺子，实时对无人机在空间中的高度、位置、姿态、抖动、延时等指标进行测量，以提升开发效率。

• 作为编队的测量基准

在对无人机、无人车等智能体进行高精度编队时，工程师需要构建一个空间测量基准，该基准可以实时精确测量每个智能体在空间中的位置和姿态，并通过运行有控制软件（如ROS）的计算机下达编队指令。

• 工作原理

悟空™光学动捕系统是基于光学惯性融合技术的高精度、高可靠性动作捕捉系统。悟空™不仅可以提供传统光学动作捕捉系统所能提供的DoF、亚毫米级实时空间动捕数据。

星环科技探索者2是SLAM无人机。首先先了解什么是SLAM，根据百度百科定义如下SLAM (simultaneous localization and mapping),也称为CML (Concurrent Mapping and Localization), 即时定位与地图构建，或并发建图与定位。问题可以描述为：将一个机器人放入未知环境中的未知位置，是否有办法让机器人一边移动一边逐步描绘出此环境完全的地图，所谓完全的地图（a consistent map）是指不受障碍行进到房间可进入的每个角落。那么SLAM无人机就是具备即时定位与地图构建功能的无人机。

无人机想要稳定的飞行，就需要实时的位置坐标采样，作为控制的闭环反馈。

无人机在任何有卫星信号的地方，我们都可以使用卫星信号进行定位，或者在空旷方便布置RTK信标的地方我们也可以采用RTK基站式定位，这些统一来讲属于外辅助定位。当然在室内场景，也有光学动捕系统和UWB的外定位措施，但这以上的定位都无法应对在未知地形或难以架设外定位设备的场景飞行，且普遍成本较高。

因此，想要在卫星信号拒止的未知环境飞行，SLAM无人机就派上了用场，比如飞入一栋大楼、一条隧道等环境进行勘察，或者在仓库车间内巡检与盘点，既没有卫星信号也无法提前架设外定位设备。

图像回传数据做机器视觉或深度学习算法：

根据回传的图像，可在地面站上部署机器视觉算法或深度学习网络，根据开发者需求，做相应的目标检测、分类识别等与无人机飞行相关的应用。

• 开发接口

• Python基础实验

• 特征

【5.8 AI视觉无人机（Owl）】

Owl是专为科研工作者与航天器开发者打造的小型化无人机开发平台，它搭载visdrone视觉模块，适用于无GPS环境下基于视觉的无人机定位/导航/避障算法的验证与开发，以及室内无人机组网编队的研究。Owl拥有自主的双目传感器和开发平台，平台支持ROS接口，提供了6核CPU和5Tops TPU计算资源。同时预装了融合了港科大的VINS_Fusion VIO算法的自定位系统，可以满足室内无人机定位需求。同时提供了EGO-Planner视觉避障算法，可以提供视觉避障功能。

【5.9 多智能体控制】

多智能体协同控制系统即多个智能体组成的集合，它的目标是将大而复杂的系统集成设成小的、彼此互相通信和协调的、易于管理的系统。多智能体协同控制系统在表达实际系统时，通过各智能体间的通讯、合作、互解、协调、调度、管理及控制来表达系统的机构、功能及行为特性。

多智能体系统控制具有自主性、分布性、协调性，并具有自组织能力、学习能力和推理能力。采用多智能体协同控制系统解决实际应用问题，具有很强的鲁棒性和可靠性，并具有较高的问题求解效率。

多智能体协同控制系统是智能体技术应用及研究的一个质的飞跃，不同行业的专家学者对之进行了深入的研究并从多个角度阐述了多智能体系统用于解决实际问题的优势，归纳起来，主要有以下几点：

1、在多智能体协同控制系统中，每个智能体具有独立性和自主性，能够解决给定的子问题，自主地推理和规划并选择适当的策略，并以特定的方式影响环境；

2、多智能体协同控制系统支持分布式应用，所以要具有良好的模块性、易于扩展性和设计灵活简单，克服了建设一个庞大的系统所造成的管理和扩展的困难，应有效降低系统的总成本；

3、在多智能体协同控制系统实现过程中，不追求单个庞大复杂的体系，而是按面向对象的方法构造多层次、多元化的“蜂群”智能体，要降低系统的复杂性，也要降低各智能体问题求解的复杂性；

4、多智能体协同控制系统是一个讲究协调的系统，各智能体通过互相协调去解决大规模的复杂问题；“蜂群”智能体空地一体系统多智能体协同控制系统也是一个集成系统，它采用信息集成技术，将各子系统的信息集成在一起，完成复杂系统的集成；

5、在多智能体协同控制系统中，各智能体之间互相通信，彼此协调，并行地求解问题，因此能有效地提高问题求解的能力。

多智能体协同控制系统是在多无人机运动中，各个无人机之间能够保持一定的相对距离，并在速度及位置上按照预设路线或命令进行运动的过程。基于MATLAB/Simulink进行硬件在环控制算法开发和验证，可通过MATLAB/Simulink软件直接获取高精度的姿态数据和图像数据，并提供多无人机协同控制的OEMO程序。

多智能体协同控制系统主要做以下三个方面的研究：

1、编队队形的设计：多个无人机在指令下运行至指定的位置，并最终实现既定的编队形态，除了需要考虑无人机气动力影响外之外，还要考虑任务要求及无人机间信息交换的冗余度，同时保证无人机之间不会发生碰撞；

2、编队队形的保持,在无人机执行指令过程中能克服来自系统内部或外在环境干扰，进而保持整个队形不变；

3、编队队形的变换：在无人机行进过程中能够适应来自系统内部或外在环境干扰而对编队做出适当且合理的改变。

多智能体协同控制系统需要通过对无人机的定位，获取其在空间中的位姿，这种位置位姿信息主要是六自由度姿态数据，进行多智能体之间通讯的建立，最后通过控制决策系统根据智能体空间内的位姿完成系统控制。

定位无人机的空间位姿，是多智能体协同控制系统研究、实验最为重要的部分，只有获取准确稳定的定位信息，才能良好的控制无人机。作为定位的传统方法，惯性测量单元（IMU）和惯导模块（INS）存在陀螺仪零点漂移严重，导致获取的姿态、速度等数据精度不够，存在误差累计，很难长时间独立工作。

多智能体协同控制系统采用光学动捕技术（定位精度可达亚毫米级别）或UWB（定位精度5-10cm）定位。并通过WiFi网络实现多机间的通信，能够将MATLAB/Simulink开发的无人机编队仿真算法直接生成代码下载到无人机中，在室内环境下进行多机分布式编队算法的验证。

• 星环XH300无人机

星环XH300无人机是一款能够让研发人员基于matlab/simulink进行二次开发的多旋翼平台。用户可以通过simulink可视化编程，然后编译烧录进入板上MCU，利用simulink已有的强大工具进行飞控及导航算法模块化程序开发及验证。开发人员可在短时间内高效地验证其算法的有效性，而不需要担心繁琐的嵌入式开发流程。

星环XH300无人机提供稳定可靠飞行的Simulink模板，现有稳定的飞控程序完全开放，用户可以方便的进行修改或者在此基础上实现自己的飞控算法。所有的传感器数据：三轴陀螺仪，三轴加速度，三轴磁力，GPS，气压计，UWB超宽带以及动捕定位数据作为simulink输入接口，马达命令作为simulink输出接口。

除了飞控Simulink开发，星环XH300也配备了Simulink地面站，通过Simulink地面站用户可以得到无人机状态（位姿等），也可以通过simulink给无人机实时发送航点位置,速度或者姿态命令，同时也可以自定义无线传输数据的内容，为无人机调试带来了极大的便利性。板载flash实时高速记录传感器，马达及用户自定义数据，可以用于分析处理。

•  可在GPS，动捕系统，UWB超宽带定位下自主飞行；

• 所有代码均自主开发，所用嵌入式系统实时性强于PX4等开源飞控；

• 无人机控制导航算法优于开源飞控，无人机飞行效果平稳并且轨迹跟踪精准；

•  无人机不受磁场干扰。

• 集群系统配置

• Simulink飞控开发简介

星环X300无人机提供一颗高性能MCU（支持浮点运算）让研发人员可在Simulink上进行模块化算法设计，将设计好的Simulink文件编译成C/C++, 最后编译烧录进入板上MCU进行算法验证实验。利用simulink已有的强大工具进行飞控及导航算法模块化程序开发及验证，整个过程研发人员不需要关心嵌入式系统，传感器驱动，和各个消息之间的转换/获得等嵌入式层面知识/经验，给科研人员带来了极大的便利，从而提高研发效率。

Simulink开发模板示意图如下：

• 实时拿到所有传感器数据及地面站无线命令，可以根据特定的算法修改位置控制环，角度控制环，最终输出为马达命令。用户也可以合并位置环和角度环，使控制器更加紧凑提高控制带宽。

• 通过“Telemetry Arrangement”（数传）模块自定义向地面站无线传输任意一定带宽数据，方便在线调参或者实时观测控制器/滤波器状态。

• 通过”Logging Arrangement”（板载数据记录）模块实时flash记录自定义数据，方便飞行后数据分析，所有数据将以1000hz记录于板载flash。

Simulink demo 例程将会提供：

• 稳定的位置环Simulink控制器（position controller）

• 稳定的姿态环Simulink控制器（attitude controller）

大机动飞行demo：圆形轨迹，半径1米，线速度4m/s

• 无人机Simulink地面站(GCS)简介

星环无人机SIMULINK地面站(GCS)是一款基于Matlab/Simulink开发的，让科研人员容易调试飞控相关算法且方便添加其他功能模块的地面站系统。

Simulink GCS模板示意图如下：

• 通过状态向量机模块”Formation Trajectory”进行编队轨迹规划或者单架无人机轨迹规划

• 通过“Telemetry_Inputs”模块自定义向无人机无线传输任意一定带宽数据，方便在线调参或者用于其他指令模式控制（比如游戏手柄输入等）。

• 通过右边示波器模块实时观察无人机飞行数据，和无人机自定义下发数据。

• 通过命令按钮发送一些常用无人机指令，比如解锁(Arm), 起飞(Takeoff), 降落(Land)等。

Simulink demo 例程将会提供：

•  圆形集群轨迹

• 集群轨迹（包含直线，圆形旋转，三角形等）