產品與課程
“探智-VS”
配套的實驗課程：《機器視覺與AI》、《機器視覺綜合實踐》、《人工智能綜合實踐》、《具身智能綜合實踐》、《語音大模型綜合實踐》。
對應的競賽：一個白名單大賽的2個項目，及一個機器人競賽指數(shù)榜單大賽的2個項目。
“探智-VS”是一款面向人工智能專業(yè)及其他涉及Python編程、機器視覺、自然語言處理、人工智能、機械臂控制、人機自然交互等課程的工科專業(yè)的實驗教學平臺。處理器搭載瑞芯微RK3588S芯片，具備8核的CPU和6TOPS等效AI算力的NPU，處理能力強大且均衡，視覺與語音識別模型均在本地進行邊緣計算部署，符合人工智能技術在智能硬件產品上的應用趨勢。配置桌面工業(yè)級機械臂、攝像頭、麥克風、揚聲器、觸摸交互顯示屏等模塊，將機械臂控制、機器視覺、人工智能、人機交互等技術結合起來，圍繞上述知識點，聚焦智能分揀應用場景，設計了大量的實驗，配套不同的調試與開發(fā)軟件。算法高度封裝，支持一行Python代碼直接調用獲取推理結果，或通過Python編程讀取預訓練神經網絡，也可以對神經網絡模型與算法重新訓練與優(yōu)化，滿足不同層次的教學需求。
配套的實驗課程大綱如下：
|
Python智能硬件編程（24課時） |
|||
|
編號 |
實驗名稱 |
實驗內容 |
學時 |
|---|---|---|---|
|
1 |
Python簡介 |
了解智能硬件中的Python應用，了解為什么Python是機器人很重要的開發(fā)語言，使用vscode配置Python開發(fā)環(huán)境。 |
2 |
|
2 |
Python數(shù)據(jù)結構 |
在嵌入式AI處理器中，開發(fā)Python應用程序，學習Python中的變量，數(shù)組與數(shù)據(jù)類型。 |
2 |
|
3 |
Python運算符 |
在嵌入式AI處理器中，開發(fā)Python應用程序，學習Python中的加減乘除移位等各類數(shù)字邏輯運算符。 |
2 |
|
4 |
Python的控制結構 |
在嵌入式AI處理器中，開發(fā)Python應用程序，學習if-else，while等各類控制結構。 |
2 |
|
5 |
Python的函數(shù)與指針 |
在嵌入式AI處理器中，開發(fā)Python應用程序，學習并了解函數(shù)與指針。 |
2 |
|
6 |
Python的面向對象編程 |
在嵌入式AI處理器中，開發(fā)Python應用程序，學習并了解面向對象編程。 |
2 |
|
7 |
AI+硬件常用Python庫 |
Python中機器人開發(fā)常用的標準庫，如Numpy，MatPlotlib等知識，嵌入式AI處理器中開發(fā)案例調用標準庫。 |
2 |
|
8 |
Python串口編程 |
了解Python的串口庫pyserial，安裝串口調試助手，了解Python如何調用系統(tǒng)中的串口，與Windows主機進行通信。 |
2 |
|
9 |
Python網絡編程 |
了解Python的網絡編程類socket，了解數(shù)據(jù)交換格式Json，安裝網絡調試助手，了解Python如何與Windows主機進行網絡通信。 |
2 |
|
10 |
UI編程框架PyQt |
了解Python的UI編程架構PyQt，基于PyQt編寫UI程序，查詢嵌入式AI處理器信息。 |
2 |
|
11 |
環(huán)境管理工具Conda |
了解Python為什么要做環(huán)境隔離，在嵌入式AI處理器系統(tǒng)中安裝并使用環(huán)境包管理工具Conda。 |
2 |
|
12 |
交互式開發(fā)工具Jupyter |
了解Jupyter開發(fā)工具，在嵌入式AI處理器系統(tǒng)中安裝Jupyter并進行交互式Python開發(fā)與調試。 |
2 |
|
數(shù)字圖像處理基礎（24課時） |
|||
|
編號 |
實驗名稱 |
實驗內容 |
學時 |
|---|---|---|---|
|
1 |
OpenCV簡介 |
了解數(shù)字圖像處理的基本內容，了解最常用的數(shù)字圖像處理庫OpenCV。 |
2 |
|
2 |
圖像采集 |
熟悉實驗設備，打開并配置相機，進行圖像拍攝與保存。 |
2 |
|
3 |
圖像生成 |
在嵌入式AI處理器中，開發(fā)OpenCV應用程序，生成圖像，并對圖像進行操作。 |
2 |
|
4 |
圖像濾波 |
在嵌入式AI處理器中，開發(fā)OpenCV應用程序，實現(xiàn)圖像的各種濾波操作。 |
2 |
|
5 |
圖像變換 |
在嵌入式AI處理器中，開發(fā)OpenCV應用程序，進行圖像的平移旋轉縮放等各類操作。 |
2 |
|
6 |
圖像特征提取 |
在嵌入式AI處理器中，開發(fā)OpenCV應用程序，進行圖像的點特征和線特征提取。 |
2 |
|
7 |
圖像的像素處理 |
在嵌入式AI處理器中，開發(fā)OpenCV應用程序，進行圖像的像素計算。 |
2 |
|
8 |
圖像顏色空間 |
了解灰度，RGB，HSV等各種顏色空間，并在嵌入式AI處理器中，開發(fā)OpenCV應用程序進行各類顏色空間轉換。 |
2 |
|
9 |
形態(tài)學運算 |
在嵌入式AI處理器中，開發(fā)OpenCV應用程序，進行對圖像的腐蝕膨脹與開閉運算。 |
2 |
|
10 |
閾值處理與圖像分割 |
了解圖像二值化的原理，了解閾值分割的方法，在嵌入式AI處理器中開發(fā)程序基于圖像像素顏色閾值進行分割。 |
2 |
|
11 |
特征匹配 |
了解特征匹配算法原理，在嵌入式AI處理器中開發(fā)程序實現(xiàn)多種特征匹配算法。 |
2 |
|
12 |
霍夫變換 |
了解霍夫變換算法原理，在嵌入式AI處理器中開發(fā)程序，基于霍夫變換提取出直線，線段，圓形特征。 |
2 |
|
機器視覺技術（24課時） |
|||
|
編號 |
實驗名稱 |
實驗內容 |
學時 |
|---|---|---|---|
|
1 |
圖像采集 |
基于Python+OpenCV實現(xiàn)圖像加載、保存，USB攝像頭視頻流獲取，WEB視頻流獲取，攝像頭圖像錄制，繪制圓形、方形、線條、文字等操作。 |
2 |
|
2 |
相機內參標定 |
理解相機成像模型，使用Python和OpenCV實現(xiàn)經典的張正友標定法相機標定。 |
2 |
|
3 |
機械臂運動控制 |
了解機械臂運動控制，了解機械臂的正逆運算，了解機械臂控制的Python接口，學習如何使用Python控制機械臂執(zhí)行動作。 |
2 |
|
4 |
手眼標定 |
了解物理坐標系與像素坐標系的關系按步驟部署相機，標定攝像頭與機械臂的相對位置。 |
2 |
|
5 |
二維碼識別 |
了解如何使用Python和OpenCV的庫檢測定位二維碼位置并識別二維碼信息。 |
2 |
|
6 |
AprilTag檢測與抓取放置 |
了解AprilTag的原理，學習如何使用AprilTag定位物體信息，并基于機械臂實現(xiàn)AprilTag物塊的抓取放置。 |
2 |
|
7 |
顏色識別與抓取放置 |
HSV顏色空間、圖像二值化、形態(tài)學運算等處理方法，基于Python+OpenCV實現(xiàn)顏色目標檢測與分類，結合顏色識別實現(xiàn)抓取放置。 |
2 |
|
8 |
形狀識別 |
了解霍夫變換的原理，基于霍夫變換實現(xiàn)形狀識別，結合形狀識別實現(xiàn)抓取放置。 |
2 |
|
9 |
長度測量 |
了解如何基于像素結果判斷物體長度，并以此檢測作物大小是否合格。 |
2 |
|
10 |
面積測量 |
了解如何基于像素結果判斷物體面積，并以此檢測作物大小是否合格。 |
2 |
|
11 |
表盤讀數(shù) |
通過機器視覺算法提取儀表盤的指針終點與圓心，通過刻度分析當前儀表盤數(shù)值。 |
2 |
|
12 |
缺陷檢測 |
基于顏色直方圖的方法識別缺陷，判斷完好物體與缺陷物體。 |
2 |
|
人工智能技術（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內容 |
學時 |
|---|---|---|---|
|
1 |
視覺與AI框架簡介 |
了解機器視覺的基本內容，了解最常用的數(shù)字圖像處理庫OpenCV，了解機器學習與深度學習的原理和通用框架。 |
2 |
|
2 |
Conda入門 |
了解Python下的環(huán)境配置架構Conda，學習如何通過Conda管理各個功能環(huán)境，進行版本隔離。 |
2 |
|
3 |
Jupyter入門 |
了解交互式編程環(huán)境Jupyter NoteBook，如何在Jupyter中進行簡單的Python開發(fā)與調試。 |
2 |
|
4 |
機械臂運動控制 |
了解機械臂運動控制，了解機械臂的正逆運算，了解機械臂控制的Python接口，學習如何使用Python控制機械臂執(zhí)行動作。 |
2 |
|
5 |
圖像采集與相機標定 |
熟悉實驗設備，打開并配置相機，進行圖像拍攝與保存，標定攝像頭與機械臂的相對位置。 |
2 |
|
6 |
人臉識別 |
使用機器學習的Haar特征實現(xiàn)人臉檢測識別，使用深度學習模型實現(xiàn)基于AI的人臉檢測與識別，體驗深度學習邊緣計算的優(yōu)勢，開發(fā)基于人臉識別的考勤系統(tǒng)。 |
2 |
|
7 |
目標跟蹤 |
使用機器學習KCF目標跟蹤方法實現(xiàn)目標跟蹤，使用深度學習實現(xiàn)目標跟蹤，體驗深度學習邊緣計算的優(yōu)勢，開發(fā)基于目標跟蹤的抓取搬運系統(tǒng)。 |
2 |
|
8 |
深度學習目標檢測 |
基于Yolo-V5卷積神經網絡模型，部署在AI處理器上，實現(xiàn)目標檢測與分類，結合機械臂完成任務。 |
2 |
|
9 |
表情識別的人機交互 |
基于深度學習卷積神經網絡模型，實現(xiàn)表情識別的人機交互系統(tǒng)。 |
2 |
|
10 |
手勢識別的人機交互 |
使用MediaPipe實現(xiàn)手勢識別，基于深度學習神經網絡模型，實現(xiàn)手勢識別的人機交互系統(tǒng)。體會不同類型深度學習算法的不同應用。 |
2 |
|
機器視覺綜合實踐（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內容 |
學時 |
|---|---|---|---|
|
1 |
圖像采集 |
基于Python+OpenCV實現(xiàn)圖像加載、保存，USB攝像頭視頻流獲取，WEB視頻流獲取，攝像頭圖像錄制，繪制圓形、方形、線條、文字等操作。 |
2 |
|
2 |
機械臂運動控制 |
了解機械臂運動控制，了解機械臂的正逆運算，了解機械臂控制的Python接口，學習如何使用Python控制機械臂執(zhí)行動作。 |
2 |
|
3 |
手眼標定 |
了解物理坐標系與像素坐標系的關系按步驟部署相機，標定攝像頭與機械臂的相對位置。 |
2 |
|
4 |
AprilTag檢測與抓取放置 |
了解AprilTag的原理，學習如何使用AprilTag定位物體信息，并基于機械臂實現(xiàn)AprilTag物塊的抓取放置。 |
2 |
|
5 |
顏色識別與抓取放置 |
HSV顏色空間、圖像二值化、形態(tài)學運算等處理方法，基于Python+OpenCV實現(xiàn)顏色目標檢測與分類，結合顏色識別實現(xiàn)抓取分揀。 |
2 |
|
6 |
標記排序位置 |
確定排序規(guī)則，將AprilTag物塊按照ID排序，確定分揀規(guī)則，將顏色塊按照顏色分揀到不同區(qū)域，將待分揀區(qū)域標記在圖像位置。 |
2 |
|
7 |
進程管理 |
學習Python下的進程管理與進程間通信，為實現(xiàn)分揀任務做好基礎，將分揀動作封裝成進程函數(shù)可調用。 |
2 |
|
8 |
線程管理 |
學習Python下的線程管理與線程通信，為實現(xiàn)分揀任務做好基礎，將通信等封裝成線程函數(shù)。 |
2 |
|
9 |
AprilTag排序碼垛 |
結合多進程，多線程，實現(xiàn)AprilTag按照ID順序排序碼垛。 |
2 |
|
10 |
顏色識別分揀 |
結合多進程，多線程，實現(xiàn)將不同顏色的物塊分揀到不同位置。 |
2 |
|
人工智能綜合實踐（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內容 |
學時 |
|---|---|---|---|
|
1 |
人工智能與AI硬件 |
了解機器視覺與數(shù)字圖像處理的基本內容，了解最常用的數(shù)字圖像處理庫OpenCV，了解機器學習與深度學習，了解AI如何賦能智能硬件。 |
2 |
|
2 |
WSL2安裝 |
在個人電腦上安裝WSL2，配置Conda和Jupyter，配置VSCode開發(fā)環(huán)境，為后續(xù)實驗打下基礎。 |
2 |
|
3 |
Conda入門 |
了解Python下的環(huán)境配置架構Conda，學習如何通過Conda 管理各個功能環(huán)境，進行版本隔離。 |
2 |
|
4 |
Jupyter入門 |
了解交互式編程環(huán)境Jupyter NoteBook，如何在Jupyter中進行簡單的Python開發(fā)與調試。 |
2 |
|
5 |
數(shù)據(jù)集采集 |
熟悉實驗設備，打開并配置相機，進行圖像拍攝與保存，采集數(shù)據(jù)集。 |
2 |
|
6 |
圖像標注 |
在WSL2中安裝Label-Studio，進行數(shù)據(jù)標注，生成Yolo格式的標注數(shù)據(jù)。 |
2 |
|
7 |
數(shù)據(jù)增強與數(shù)據(jù)集劃分 |
了解為什么要進行數(shù)據(jù)增強，在Jupyter中進行數(shù)據(jù)增強，將增強的數(shù)據(jù)集劃分為訓練集和測試集。 |
2 |
|
8 |
模型訓練 |
基于Yolo-V5模型，在Pytorch下訓練卷積神經網絡模型。 |
2 |
|
9 |
模型轉化 |
將Pytorch訓練出的pt模型轉化為onnx中間模型，再轉化為可硬件推理的rknn模型，邊緣計算芯片可部署推理。 |
2 |
|
10 |
深度學習分揀 |
結合機械臂，實現(xiàn)水果分揀案例，將不同類型的水果分揀到不同位置。 |
2 |
|
語音與大模型綜合實踐（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內容 |
學時 |
|---|---|---|---|
|
1 |
場景分析 |
分析當前機器人接入大模型的應用場景，剖析機器人接入大模型的技術路線和技能方法，了解如何通過Python為機器人接入大模型，學會使用機器人開發(fā)。 |
2 |
|
2 |
機械臂驅動 |
了解機械臂運動控制，了解機械臂的正逆運算，了解機械臂控制的Python接口，學習如何使用Python控制機械臂執(zhí)行動作。 |
2 |
|
3 |
圖像采集 |
基于Python+OpenCV實現(xiàn)圖像加載、保存，USB攝像頭視頻流獲取，WEB視頻流獲取，攝像頭圖像錄制，繪制圓形、方形、線條、文字等操作。 |
2 |
|
4 |
AprilTag檢測與抓取放置 |
了解AprilTag的原理，學習如何使用AprilTag定位物體信息，并基于機械臂實現(xiàn)AprilTag物塊的抓取放置。 |
2 |
|
5 |
麥克風數(shù)據(jù)處理 |
調試并獲取機器人上麥克風信息，使得麥克風接入系統(tǒng)，可實現(xiàn)語音獲取。 |
2 |
|
6 |
語音轉文字 |
基于離線AI模型，實現(xiàn)ASR功能，讀取麥克風的信息并轉換為文字。 |
2 |
|
7 |
文字轉語音 |
基于離線AI模型，實現(xiàn)TTS功能，將文字信息轉化為語音信息并通過揚聲器播放。 |
2 |
|
8 |
語義理解 |
分析語音識別的文字，并提取其中的意圖和序列，實現(xiàn)語音控制機器人。 |
2 |
|
9 |
場景理解 |
為機器人接入視覺大模型，理解看到的場景，并通過語音播報出來。 |
2 |
|
10 |
具身智能綜合案例 |
串聯(lián)上述知識點，編寫接口程序，實現(xiàn)可語音控制機械臂分揀，根據(jù)指定的指令讓機械臂將看到的物體分揀到各個位置。 |
2 |
|
具身智能綜合實踐（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內容 |
學時 |
|---|---|---|---|
|
1 |
具身智能分析 |
了解什么是具身智能，了解具身智能的基本原理與應用場景。 |
2 |
|
2 |
機械臂驅動 |
了解機械臂運動控制，了解機械臂的正逆運算，了解機械臂控制的Python接口，學習如何使用Python控制機械臂執(zhí)行動作。 |
2 |
|
3 |
麥克風數(shù)據(jù)處理 |
調試并獲取機器人上麥克風信息，使得麥克風接入系統(tǒng)，可實現(xiàn)語音獲取。 |
2 |
|
4 |
機器人定位導航 |
調用機器人搭載的MoveBase框架，可編寫節(jié)點發(fā)布Action實現(xiàn)機器人自主定位導航。 |
2 |
|
5 |
麥克風數(shù)據(jù)處理 |
調試并獲取機器人上麥克風信息，使得麥克風接入ROS系統(tǒng)，可實現(xiàn)語音獲取。 |
2 |
|
6 |
語音轉文字 |
基于離線AI模型，實現(xiàn)ASR功能，讀取麥克風的信息并轉換為文字。 |
2 |
|
7 |
文字轉語音 |
基于離線AI模型，實現(xiàn)TTS功能，將文字信息轉化為語音信息并通過揚聲器播放。 |
2 |
|
8 |
大模型問答 |
注冊大模型AI工具，編寫程序通過大模型API，調用Json實現(xiàn)智能問答。 |
2 |
|
9 |
語義理解 |
分析語音識別的文字，并提取其中的意圖和序列，實現(xiàn)語音控制機器人。 |
2 |
|
10 |
大模型機器人集成 |
串聯(lián)上述知識點，編寫接口程序，實現(xiàn)可語音控制并語音交互的大模型接入機器人。 |
2 |