產(chǎn)品與課程
“智元素-高級版”
配套的實驗課程：《機器視覺與AI》、《機器視覺綜合實踐》、《人工智能綜合實踐》、《具身智能綜合實踐》。
對應(yīng)的競賽：兩個白名單大賽的3個項目，及一個機器人競賽指數(shù)榜單大賽的2個項目。
“智元素-高級版”是一款以人工智能技術(shù)應(yīng)用為特色的輪式人形機器人，深度整合毀傷融合算法、體感交互、人臉識別、手勢識別、目標識別及具身智能等多元前沿技術(shù)。配置運動控制（STM32）、行為處理（Arduino）、AI處理（瑞芯微RK3588S）三種不同層次的處理器，均可獨立編程開發(fā)，支持Arduino、C、C++、Python等多種編程語言。運動性能強大，全向移動速度可達2m/s，具有航向和角速度雙閉環(huán)，配置雙4自由度機械手臂。采用Linux操作系統(tǒng)，支持嵌入式AI與Python視覺編程，在控制器上部署了深度學習框架，預置模型可實現(xiàn)目標檢測、人臉識別、手勢識別等關(guān)鍵視覺+AI應(yīng)用。算法高度封裝，使用者可通過簡易Python代碼調(diào)用API獲取精準推理結(jié)果，也可調(diào)用預訓練模型開展深度開發(fā)?？蛇x配體感控制組件包，與機器人本體協(xié)作可做人機交互遙操作方面的人工智能應(yīng)用，開展敏捷式人機交互和共融控制方向的學習和實踐，是用于實踐教學和競賽的最佳的具身智能體之一。
配套的實驗課程大綱如下:
|
Python智能硬件編程（24課時） |
|||
|
編號 |
實驗名稱 |
實驗內(nèi)容 |
學時 |
|---|---|---|---|
|
1 |
Python簡介 |
了解智能硬件中的Python應(yīng)用，了解為什么Python是機器人很重要的開發(fā)語言，使用vscode配置Python開發(fā)環(huán)境。 |
2 |
|
2 |
Python數(shù)據(jù)結(jié)構(gòu) |
在嵌入式AI處理器中，開發(fā)Python應(yīng)用程序，學習Python中的變量，數(shù)組與數(shù)據(jù)類型。 |
2 |
|
3 |
Python運算符 |
在嵌入式AI處理器中，開發(fā)Python應(yīng)用程序，學習Python中的加減乘除移位等各類數(shù)字邏輯運算符。 |
2 |
|
4 |
Python的控制結(jié)構(gòu) |
在嵌入式AI處理器中，開發(fā)Python應(yīng)用程序，學習if-else，while等各類控制結(jié)構(gòu)。 |
2 |
|
5 |
Python的函數(shù)與指針 |
在嵌入式AI處理器中，開發(fā)Python應(yīng)用程序，學習并了解函數(shù)與指針。 |
2 |
|
6 |
Python的面向?qū)ο缶幊?span style="display:none">azD北京博創(chuàng)尚和科技有限公司 |
在嵌入式AI處理器中，開發(fā)Python應(yīng)用程序，學習并了解面向?qū)ο缶幊獭?span style="display:none">azD北京博創(chuàng)尚和科技有限公司 |
2 |
|
7 |
AI+硬件常用Python庫 |
Python中機器人開發(fā)常用的標準庫，如Numpy，MatPlotlib等知識，嵌入式AI處理器中開發(fā)案例調(diào)用標準庫。 |
2 |
|
8 |
Python串口編程 |
了解Python的串口庫pyserial，安裝串口調(diào)試助手，了解Python如何調(diào)用系統(tǒng)中的串口，與Windows主機進行通信。 |
2 |
|
9 |
Python網(wǎng)絡(luò)編程 |
了解Python的網(wǎng)絡(luò)編程類socket，了解數(shù)據(jù)交換格式Json，安裝網(wǎng)絡(luò)調(diào)試助手，了解Python如何與Windows主機進行網(wǎng)絡(luò)通信。 |
2 |
|
10 |
UI編程框架PyQt |
了解Python的UI編程架構(gòu)PyQt，基于PyQt編寫UI程序，查詢嵌入式AI處理器信息。 |
2 |
|
11 |
環(huán)境管理工具Conda |
了解Python為什么要做環(huán)境隔離，在嵌入式AI處理器系統(tǒng)中安裝并使用環(huán)境包管理工具Conda。 |
2 |
|
12 |
交互式開發(fā)工具Jupyter |
了解Jupyter開發(fā)工具，在嵌入式AI處理器系統(tǒng)中安裝Jupyter并進行交互式Python開發(fā)與調(diào)試。 |
2 |
|
數(shù)字圖像處理基礎(chǔ)（24課時） |
|||
|
編號 |
實驗名稱 |
實驗內(nèi)容 |
學時 |
|---|---|---|---|
|
1 |
OpenCV簡介 |
了解數(shù)字圖像處理的基本內(nèi)容，了解最常用的數(shù)字圖像處理庫OpenCV。 |
2 |
|
2 |
圖像采集 |
熟悉實驗設(shè)備，打開并配置相機，進行圖像拍攝與保存。 |
2 |
|
3 |
圖像生成 |
在嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，生成圖像，并對圖像進行操作。 |
2 |
|
4 |
圖像濾波 |
在嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，實現(xiàn)圖像的各種濾波操作。 |
2 |
|
5 |
圖像變換 |
在嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，進行圖像的平移旋轉(zhuǎn)縮放等各類操作。 |
2 |
|
6 |
圖像特征提取 |
在嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，進行圖像的點特征和線特征提取。 |
2 |
|
7 |
圖像的像素處理 |
在嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，進行圖像的像素計算。 |
2 |
|
8 |
圖像顏色空間 |
了解灰度，RGB，HSV等各種顏色空間，并在嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序進行各類顏色空間轉(zhuǎn)換。 |
2 |
|
9 |
形態(tài)學運算 |
在嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，進行對圖像的腐蝕膨脹與開閉運算。 |
2 |
|
10 |
閾值處理與圖像分割 |
了解圖像二值化的原理，了解閾值分割的方法，在嵌入式AI處理器中開發(fā)程序基于圖像像素顏色閾值進行分割。 |
2 |
|
11 |
特征匹配 |
了解特征匹配算法原理，在嵌入式AI處理器中開發(fā)程序?qū)崿F(xiàn)多種特征匹配算法。 |
2 |
|
12 |
霍夫變換 |
了解霍夫變換算法原理，在嵌入式AI處理器中開發(fā)程序，基于霍夫變換提取出直線，線段，圓形特征。 |
2 |
|
機器視覺技術(shù)（24課時） |
|||
|
編號 |
實驗名稱 |
實驗內(nèi)容 |
學時 |
|---|---|---|---|
|
1 |
圖像采集 |
基于Python+OpenCV實現(xiàn)圖像加載、保存，USB攝像頭視頻流獲取，WEB視頻流獲取，攝像頭圖像錄制，繪制圓形、方形、線條、文字等操作。 |
2 |
|
2 |
相機內(nèi)參標定 |
理解相機成像模型，使用Python和OpenCV實現(xiàn)經(jīng)典的張正友標定法相機標定。 |
2 |
|
3 |
機器人動作控制 |
了解Python如何通過串口控制移動機器人底盤，如何控制智元素做出對應(yīng)預設(shè)動作，在嵌入式AI處理器中編寫程序控制底盤移動。 |
2 |
|
4 |
雙機械臂關(guān)節(jié)控制 |
了解雙機械臂各關(guān)節(jié)的位置，在嵌入式AI處理器中編寫程序控制雙臂各關(guān)節(jié)，并作出整體動作。 |
2 |
|
5 |
二維碼識別 |
了解如何使用Python和OpenCV的庫檢測定位二維碼位置并識別二維碼信息。 |
2 |
|
6 |
AprilTag檢測與跟蹤 |
了解AprilTag的原理，學習如何使用AprilTag定位物體信息，并實現(xiàn)智元素的AprilTag檢測與跟蹤。 |
2 |
|
7 |
顏色識別與跟隨 |
HSV顏色空間、圖像二值化、形態(tài)學運算等處理方法，基于Python+OpenCV實現(xiàn)顏色目標檢測與分類，結(jié)合顏色識別實現(xiàn)顏色跟隨。 |
2 |
|
8 |
形狀識別 |
了解霍夫變換的原理，基于霍夫變換實現(xiàn)形狀識別，結(jié)合形狀識別實現(xiàn)特定形狀的跟隨。 |
2 |
|
9 |
視覺巡線 |
通過顏色重心法判斷線條中心，基于視覺進行視覺巡線。 |
2 |
|
10 |
SVM行人檢測 |
了解SVM支持狀態(tài)機的原理，基于支持狀態(tài)機識別行人并做出避讓。 |
2 |
|
11 |
表盤讀數(shù) |
通過機器視覺算法提取儀表盤的指針終點與圓心，通過刻度分析當前儀表盤數(shù)值。 |
2 |
|
12 |
缺陷檢測 |
基于顏色直方圖的方法識別缺陷，判斷完好物體與缺陷物體。 |
2 |
|
人工智能技術(shù)（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內(nèi)容 |
學時 |
|---|---|---|---|
|
1 |
視覺與AI框架簡介 |
了解機器視覺的基本內(nèi)容，了解最常用的數(shù)字圖像處理庫OpenCV，了解機器學習與深度學習的原理和通用框架。 |
2 |
|
2 |
Conda入門 |
了解Python下的環(huán)境配置架構(gòu)Conda，學習如何通過Conda 管理各個功能環(huán)境，進行版本隔離。 |
2 |
|
3 |
Jupyter入門 |
了解交互式編程環(huán)境Jupyter NoteBook，如何在Jupyter中進行簡單的Python開發(fā)與調(diào)試。 |
2 |
|
4 |
機器人動作控制 |
了解Python如何通過串口控制移動機器人底盤，如何控制智元素做出對應(yīng)預設(shè)動作，在嵌入式AI處理器中編寫程序控制底盤移動。 |
2 |
|
5 |
雙機械臂關(guān)節(jié)控制 |
了解雙機械臂各關(guān)節(jié)的位置，在嵌入式AI處理器中編寫程序控制雙臂各關(guān)節(jié)，并作出整體動作。 |
2 |
|
6 |
人臉識別 |
使用機器學習的Haar特征實現(xiàn)人臉檢測識別，使用深度學習模型實現(xiàn)基于AI的人臉檢測與識別，體驗深度學習邊緣計算的優(yōu)勢，開發(fā)基于人臉識別的考勤系統(tǒng)。 |
2 |
|
7 |
目標跟蹤 |
使用機器學習KCF目標跟蹤方法實現(xiàn)目標跟蹤，使用深度學習實現(xiàn)目標跟蹤，體驗深度學習邊緣計算的優(yōu)勢，開發(fā)基于目標跟蹤的跟隨機器人系統(tǒng)。 |
2 |
|
8 |
深度學習目標檢測 |
基于Yolo-V5卷積神經(jīng)網(wǎng)絡(luò)模型，部署在AI處理器上，實現(xiàn)目標檢測與分類，不同的物體智元素設(shè)備可做出對應(yīng)的響應(yīng)。 |
2 |
|
9 |
表情識別的人機交互 |
基于深度學習卷積神經(jīng)網(wǎng)絡(luò)模型，實現(xiàn)表情識別的人機交互系統(tǒng)，根據(jù)不同的表情，智元素可做出不同的對應(yīng)動作。 |
2 |
|
10 |
手勢識別的人機交互 |
使用MediaPipe實現(xiàn)手勢識別，基于深度學習神經(jīng)網(wǎng)絡(luò)模型，實現(xiàn)手勢識別的人機交互系統(tǒng)。體會不同類型深度學習算法的不同應(yīng)用。 |
2 |
|
機器視覺綜合實踐（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內(nèi)容 |
學時 |
|---|---|---|---|
|
1 |
圖像采集 |
基于Python+OpenCV實現(xiàn)圖像加載、保存，USB攝像頭視頻流獲取，WEB視頻流獲取，攝像頭圖像錄制，繪制圓形、方形、線條、文字等操作。 |
2 |
|
2 |
機器人動作控制 |
了解Python如何通過串口控制移動機器人底盤，如何控制智元素做出對應(yīng)預設(shè)動作，在嵌入式AI處理器中編寫程序控制底盤移動。 |
2 |
|
3 |
雙機械臂關(guān)節(jié)控制 |
了解雙機械臂各關(guān)節(jié)的位置，在嵌入式AI處理器中編寫程序控制雙臂各關(guān)節(jié)，并作出整體動作。 |
2 |
|
4 |
灰度陣列調(diào)試 |
安裝并配置好灰度陣列，實現(xiàn)可基于灰度陣列的重復定位。 |
2 |
|
5 |
AprilTag檢測 |
了解AprilTag的原理，學習如何使用AprilTag定位物體信息，并實現(xiàn)AprilTag物塊的抓取放置。 |
2 |
|
6 |
顏色識別與抓取放置 |
HSV顏色空間、圖像二值化、形態(tài)學運算等處理方法，基于Python+OpenCV實現(xiàn)顏色目標檢測與分類，結(jié)合顏色識別實現(xiàn)抓取分揀。 |
2 |
|
7 |
視覺巡線 |
通過顏色重心法判斷線條中心，基于視覺進行視覺巡線。 |
2 |
|
8 |
灰度巡線 |
通過灰度陣列判斷機器人與線條的偏移，編寫控制程序進行灰度巡線。 |
2 |
|
9 |
單任務(wù)串聯(lián) |
串聯(lián)上述任務(wù)，實現(xiàn)巡線到指定位置，通過AprilTag確定待抓取物體，定位抓取。 |
2 |
|
10 |
多任務(wù)串聯(lián) |
在完成了單個任務(wù)抓取后，通過多任務(wù)連續(xù)進行識別與抓取。 |
2 |
|
人工智能綜合實踐（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內(nèi)容 |
學時 |
|---|---|---|---|
|
1 |
人工智能與AI硬件 |
了解機器視覺與數(shù)字圖像處理的基本內(nèi)容，了解最常用的數(shù)字圖像處理庫OpenCV，了解機器學習與深度學習，了解AI如何賦能智能硬件。 |
2 |
|
2 |
WSL2安裝 |
在個人電腦上安裝WSL2，配置Conda和Jupyter，配置VSCode開發(fā)環(huán)境，為后續(xù)實驗打下基礎(chǔ)。 |
2 |
|
3 |
Conda入門 |
了解Python下的環(huán)境配置架構(gòu)Conda，學習如何通過Conda 管理各個功能環(huán)境，進行版本隔離。 |
2 |
|
4 |
Jupyter入門 |
了解交互式編程環(huán)境Jupyter NoteBook，如何在Jupyter中進行簡單的Python開發(fā)與調(diào)試。 |
2 |
|
5 |
數(shù)據(jù)集采集 |
熟悉實驗設(shè)備，打開并配置相機，進行圖像拍攝與保存，采集數(shù)據(jù)集。 |
2 |
|
6 |
圖像標注 |
在WSL2中安裝Label-Studio，進行數(shù)據(jù)標注，生成Yolo格式的標注數(shù)據(jù)。 |
2 |
|
7 |
數(shù)據(jù)增強與數(shù)據(jù)集劃分 |
了解為什么要進行數(shù)據(jù)增強，在Jupyter中進行數(shù)據(jù)增強，將增強的數(shù)據(jù)集劃分為訓練集和測試集。 |
2 |
|
8 |
模型訓練 |
基于Yolo-V5模型，在Pytorch下訓練卷積神經(jīng)網(wǎng)絡(luò)模型。 |
2 |
|
9 |
模型轉(zhuǎn)化 |
將Pytorch訓練出的pt模型轉(zhuǎn)化為onnx中間模型，再轉(zhuǎn)化為可硬件推理的rknn模型，邊緣計算芯片可部署推理。 |
2 |
|
10 |
基于深度學習識別挑選武器 |
結(jié)合機械臂，實現(xiàn)挑選武器的案例，在武器庫中通過AI識別出不同武器，并挑選出來。 |
2 |
|
具身智能綜合實踐（16課時） |
|||
|
課次 |
課程名稱 |
內(nèi)容 |
課時 |
|---|---|---|---|
|
1 |
基于python的硬件驅(qū)動控制 |
了解串口通信，實現(xiàn)基于Python驅(qū)動機器人動，底盤的移動，Python控制人形機器人關(guān)節(jié)運動等。 |
2 |
|
2 |
圖像處理基礎(chǔ) |
了解視覺傳感器，了解OpenCV視覺庫，圖像的保存與加載，在圖像上繪制圓形，方形，線條、文字等信息，攝像頭圖像獲取與保存。 |
2 |
|
3 |
基于顏色重心法的巡線功能 |
了解HSV顏色空間，圖像二值化，形態(tài)學運算，聯(lián)通閾提取等圖像處理方法，基于Python+OpenCV實現(xiàn)對顏色的目標檢測和分類，了解邊緣檢測算法與霍夫變換的原理，基于霍夫變換實現(xiàn)形狀的識別。實現(xiàn)基于顏色形狀識別的運動控制。實現(xiàn)基于顏色提取的視覺巡線功能。 |
2 |
|
4 |
人臉識別 |
實現(xiàn)基于深度學習模型的人臉識別，人臉特征提取，人臉向量匹配，識別并定位人臉。 |
2 |
|
5 |
人臉特征分析 |
實現(xiàn)基于DeepFace具身智能庫，識別人臉的表情，年齡，性別，種族，并根據(jù)不同的特征做出不同的對應(yīng)決策動作。 |
2 |
|
6 |
具身環(huán)境交互 |
通過視覺模型了解并分析出視野中的環(huán)境場景，依據(jù)強化學習做出對應(yīng)的動作展示。 |
2 |
|
7 |
強化學習的理解 |
介紹強化學習的基本概念、算法（如 Q - learning、Deep Q - Network 等）和應(yīng)用場景。使用強化學習算法訓練機器人，并觀察其學習效果。 |
2 |
|
8 |
綜合任務(wù)實現(xiàn) |
串聯(lián)前述單個技能模塊，實現(xiàn)一個綜合案例：半仿人機器人通過巡線在場地中穿梭，在穿梭過程中感知周圍的環(huán)境，根據(jù)環(huán)境決策實現(xiàn)搶險救援，解救受困人員的任務(wù)。 |
2 |