TYK-FTAI03A型 人工智能物联网综合实训平台
一、产品概述
TYK-FTAI03型 人工智能物联网综合实训平台是一款综合5G通信、边缘计算、视觉识别、语音识别、python应用开发的实验教学产品。
产品采用高性能AI处理器，内嵌机器视觉库和深度学习框架，外围连接摄像头、麦克风阵列进行图像、语音信号的采集、分析、识别、决策；引出处理器接口用于信号交互，具有无线传感网模块；融合5G移动通信，可将图像、声音、视频等多媒体数据及结构化数据实时推送到云服务平台；提供5G云端接入、视频流实时推送、图像处理基础、机器学习、深度学习、语音识别、数据预测、以及与物联网模块结合开展综合应用的案例。
二、产品组成
1、边缘计算网关：板载高性能四核64位ARM Cortex-A55处理器，主频高达2GHz；内存：4G；集成双核心架构GPU，高性能VPU及高性能NPU。GPU支持OpenGL ES3.2/2.0/1.1，Vulkan1.1；VPU可实现4K 60fps H.265/H.264/VP9视频解码和1080p 100fps H.265/H.264/VP9视频编码；NPU支持Caffe/Tensorflow等主流架构模型的切换。内置独立的第三代NPU硬件加速器，性能0.8tops，支持Caffe/Tensorflow/pytroch等主流架构模型。板载EMMC、M.2插槽（nvme协议 支持扩展ssd固态硬盘），1个MIPI DSI和1个HDMI接口，支持支持双屏同显；具有2个USB 3.0接口，2个USB Host接口，1个千兆以太网接口，1个Type-C接口，1个音频接口；集成wifi，蓝牙，zigbee模块。
2、摄像头：支持200万像素，分辨率最大1920*1080，USB接口，无畸变。输出格式MJPG，支持YUYV。
3、麦克风阵列：远距离拾音，声音播放功能。
4、5G通信模块，是一款专为 IoT/eMBB 应用而设计的 5G Sub-6 GHz 工规级模块。采用M.2 封装，几乎覆盖全球所有主流运营商。集成多星座高精度定位 GNSS（支持 GPS、GLONASS、BeiDou 和Galileo）接收机，内置丰富的网络协议，集成多个工业标准接口，并支持多种驱动（如 Windows7/8/8.1/10、Linux、Android 等操作系统下的 USB/PCIe 驱动等）。
5、显示屏：10寸，HDMI接口
6、其他附件：包含至少32GB的TF卡（最大可支持128G）、扬声器、USB HUB、键盘鼠标等。
三、产品功能
1、图像识别
2、语音识别
3、智能综合应用
4、5G联网功能
四、教学资源主要内容：
1、第一部分：基于AI智能算法的数据分析，可开展图像处理、机器学习、深度学习方面的验证性实验，提供python语言的在线实验代码编辑、测试，提供实验手册；
2、第二部分：通过5G通讯，实现图像数据采集传输、视频流推送和其他物联网扩展应用，如执行器的控制、多传感器采集。
|
课程类别 |
课程要求 |
||
|
1.5G模块驱动应用
|
课程目标 |
掌握5G通讯模块数据上云的方法 |
|
|
课程内容 |
能够使用边缘计算网关系统，驱动5G模块正常工作，可以支持5G数据传输、视频流推送、数据上云等。 |
||
|
课程实验 |
实验1 边缘计算网关环境搭建 实验2 5G模块驱动安装 实验3 5G模块入网测试 实验4 5G模块TCP通信 |
实验5 5G模块UDP通信 实验6 MQTT通讯测试 实验7 CoAP通讯测试 实验8 HTTP云端接入应用 实验9 RTSP视频流推送 |
|
|
2.数字图像处理
|
课程目标 |
理解图像处理算法的原理 掌握数字图像处理的常用方法 |
|
|
课程内容 |
完成图像处理视觉库的安装、图像处理方法调用。 |
||
|
课程实验 |
实验1 Opencv视觉库的安装配置 实验2 图像灰度化 实验3 归一化 实验4 二值化 实验5 图像滤波：高斯、中值 |
实验6 边缘检测：Sobel/Canny/hog 实验7 形态学 实验8 灰度直方图 实验9 锐化 实验10 钝化 实验11 图像增强 |
|
|
课程实训
|
实验1 颜色识别 |
了解颜色组成和表示方法； 使用Opencv库识别颜色，并播报。 |
|
|
实验2 简单图形形状识别 |
了解霍夫变换的原理； 涉及图像灰度化、归一化、滤波、边缘检测等知识点； 使用Opencv库识别圆形、矩形，并播报。 |
||
|
3.机器学习应用
|
课程目标 |
1.了解机器学习的分类：无监督、有监督 2.了解数据集的原理、作用、存储格式 3.了解至少一种聚类算法如K-Means的原理：欧式距离、余弦距离曼哈顿距离计算方法； 4.了解至少一种机器学习算法如Adaboost、SVM、决策树等的原理：分类器的流程； 5.掌握聚类算法、分类器算法的调用方法 6.掌握分类器的检测分类效果 7.掌握根据分类效果，进行智能控制 8.通过增减数据集，掌握算法训练的全过程 |
|
|
课程内容 |
能够使用机器学习的算法，实现聚类、分类、以及能够结合声、光、电设备实现关联控制 |
||
|
课程实验 |
实验1 鸢尾花聚类播报 实验2 脸部表情分析显示 |
实验3 人脸检测实验 实验4 人脸装扮实验 |
|
|
4深度学习 应用实验课
|
课程目标 |
1.了解深度学习的定义，与机器学习的区别 2.了解数据集的原理、作用，以及格式 2.了解至少一种深度学习算法的理论：如CNN、RNN、BP神经网络 3.掌握至少一种深度学习框架的使用方法：如TensorFlow 4.掌握使用深度学习方法实现识别的方法 5.掌握根据识别结果，进行智能控制，如语音播报识别到的数字，语音播报识别到的物体名称，控制声、光、电执行部件。 6.通过增加数据集，掌握算法训练的全过程。 |
|
|
课程内容 |
能够使用深度学习的方法，实现数字、物体识别，使人工智能与物联网感控设备联动 |
||
|
课程实验
|
实验1 手写数字识别 实验2 涂鸦猜游戏 |
实验3 物体识别 实验4 垃圾分类 |
|
|
5 语音识别实验 |
实验1 语音识别翻译文字 |
实验2 语音合成及语音播放 |
|
|
6.综合应用 |
实验1 车牌识别自动开闸 |
实验2 语音识别风扇控制 |
|
五、配置清单
设备清单如下表所示。
|
序号 |
类别 |
设备名称 |
单位 |
备注 |
|
1 |
结构
|
可移动铝制箱体 |
1 |
|
|
2 |
实验箱大底板 |
1 |
含电源插口、音量调节旋钮、自锁开关、DB9口、JTAG烧写口、4个天线座、RF通信接口等 |
|
|
3 |
USB-HUB |
1 |
|
|
|
4 |
主控
|
边缘计算网关 |
1 |
|
|
5 |
14寸触摸屏 |
1 |
|
|
|
6 |
32GB TF卡 |
1 |
|
|
|
7 |
键盘 |
1 |
|
|
|
8 |
通信
|
5G通信模块 |
1 |
|
|
9 |
5G天线（4根） |
1 |
|
|
|
10 |
ZIGBEE通信模块 |
1 |
|
|
|
11 |
识别终端
|
云台摄像头 |
1 |
|
|
12 |
麦克风阵列 |
1 |
|
|
|
13 |
左右声道扬声器 |
1 |
|
|
|
14 |
附件
|
附件盒 |
1 |
|
|
15 |
TF卡读卡器 |
1 |
|
|
|
16 |
鼠标 |
1 |
|
|
|
17 |
Type-C USB线缆 |
1 |
|
|
|
18 |
DC12V3A电源适配器 |
1 |
|
|
|
19 |
直连网线 |
1 |
|
|
|
20 |
合格证 |
1 |
|
