產(chǎn)品與課程
“智行-W2A”
配套的實(shí)驗(yàn)課程：《嵌入式Linux操作系統(tǒng)》、《機(jī)器人編程（C++）》、《機(jī)器人編程（Python）》、《數(shù)字圖像處理基礎(chǔ)》、《機(jī)器人操作系統(tǒng)》、《機(jī)器人感知傳感》、《機(jī)器視覺與AI》、《機(jī)器人學(xué)》、《機(jī)器人定位導(dǎo)航》、《機(jī)器人建模與仿真》、《語音大模型綜合實(shí)踐》、《具身智能綜合實(shí)踐》、《服務(wù)機(jī)器人綜合實(shí)踐（家用場景）》、《服務(wù)機(jī)器人綜合實(shí)踐（商業(yè)場景）》、《服務(wù)機(jī)器人綜合實(shí)踐（工業(yè)場景）》、《智能機(jī)器人建模仿真綜合實(shí)踐》。
對應(yīng)的競賽：兩個白名單大賽的3個項(xiàng)目，及一個機(jī)器人競賽指數(shù)榜單大賽的2個項(xiàng)目。
“智行-W2A”以兩輪差分底盤+五軸機(jī)械臂作為機(jī)器人的結(jié)構(gòu)形式。采用嵌入式AI處理器和嵌入式單片機(jī)控制器的雙腦架構(gòu)，AI處理器的核心是瑞芯微RK3588S芯片，具備8核的CPU和6TOPS等效AI算力的NPU，處理能力強(qiáng)大且均衡。搭載的5軸串聯(lián)機(jī)械臂配合兩輪差分移動底盤及高性能的處理器和傳感器，是典型的服務(wù)場景復(fù)合機(jī)器人的桌面版。配套仿真軟件，提供外觀一致，激光雷達(dá)、深度視覺相機(jī)、IMU、超聲傳感器、輪式里程計(jì)等傳感器位置一致的仿真模型，配置多個仿真場景。AI處理器搭載機(jī)器人操作系統(tǒng)與各種傳感器驅(qū)動軟件，內(nèi)置主流AI推理框架與預(yù)訓(xùn)練模型，既可以通過API直接獲取AI推理結(jié)果，又可以通過代碼加載預(yù)訓(xùn)練模型，還可以根據(jù)實(shí)驗(yàn)教程自己訓(xùn)練優(yōu)化各種AI模型。
配套的實(shí)驗(yàn)課程大綱如下：
|
機(jī)器人嵌入式Linux操作系統(tǒng)（20課時） |
|||
|
編號 |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
Linux系統(tǒng)簡介 |
為什么學(xué)習(xí)Linux，如何學(xué)習(xí)Linux，Linux特點(diǎn)，機(jī)器人與Linux的關(guān)系。 |
2 |
|
2 |
體驗(yàn)機(jī)器人上Linux |
使用圖像采集卡或HDMI連接屏幕，連接外設(shè)，WIFI連接，介紹桌面功能。 |
2 |
|
3 |
體驗(yàn)Linux遠(yuǎn)程連接與終端 |
遠(yuǎn)程軟件準(zhǔn)備，配置電腦網(wǎng)絡(luò)，終端初始體驗(yàn)，軟件安裝與卸載。 |
2 |
|
4 |
了解Linux命令行 |
打開終端，命令提示符，命令行體驗(yàn)，命令格式與幫助，常用命令。 |
2 |
|
5 |
用戶與文件 |
了解用戶與用戶組，文件系統(tǒng)，chmod命令，操作Linux文件目錄。 |
2 |
|
6 |
Linux系統(tǒng)下的機(jī)器人程序 |
通過Git管理程序，程序編譯。 |
2 |
|
7 |
Vscode便捷調(diào)試開發(fā) |
Vscode下載與配置使用，查詢機(jī)器人IP地址，vscode遠(yuǎn)程連接機(jī)器人。 |
2 |
|
8 |
Makefile簡介 |
了解編譯工具，介紹MakeFile，使用MakeFile編譯多個文件。 |
2 |
|
9 |
網(wǎng)絡(luò)通信 |
了解網(wǎng)絡(luò)通信在機(jī)器人軟件中的應(yīng)用，安裝網(wǎng)絡(luò)調(diào)試助手，了解Linux系統(tǒng)中的UDP通信，TCP通信，通過socket實(shí)現(xiàn)網(wǎng)絡(luò)通信。 |
2 |
|
10 |
串口通信 |
了解串口通信在機(jī)器人系統(tǒng)中的應(yīng)用，安裝串口調(diào)試助手，了解Linux系統(tǒng)中的串口，與Windows主機(jī)進(jìn)行通信。 |
2 |
|
機(jī)器人編程（C++）（20課時） |
|||
|
編號 |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
機(jī)器人中的C++ |
了解機(jī)器人中的C++應(yīng)用，了解為什么C++是機(jī)器人很重要的開發(fā)語言。 |
2 |
|
2 |
C++編譯原理 |
編譯器，編譯過程，CMake語法，使用IDE配置C++編譯工程。 |
2 |
|
3 |
C++的數(shù)據(jù)結(jié)構(gòu) |
在機(jī)器人的處理器中，開發(fā)C++應(yīng)用程序，學(xué)習(xí)C++中的變量，數(shù)組與數(shù)據(jù)類型。 |
2 |
|
4 |
C++的運(yùn)算符 |
在機(jī)器人的處理器中，開發(fā)C++應(yīng)用程序，學(xué)習(xí)C++中的加減乘除移位等各類數(shù)字邏輯運(yùn)算符。 |
2 |
|
5 |
C++的控制結(jié)構(gòu) |
在機(jī)器人的處理器中，開發(fā)C++應(yīng)用程序，學(xué)習(xí)if-else，while等各類控制結(jié)構(gòu)。 |
2 |
|
6 |
C++的函數(shù)與指針 |
在機(jī)器人的處理器中，開發(fā)C++應(yīng)用程序，學(xué)習(xí)并了解函數(shù)與指針。 |
2 |
|
7 |
C++的面向?qū)ο缶幊?span style="display:none">0id北京博創(chuàng)尚和科技有限公司 |
在機(jī)器人處理器中，開發(fā)C++應(yīng)用程序， |
2 |
|
8 |
常用機(jī)器人C++庫 |
C++中機(jī)器人開發(fā)常用的標(biāo)準(zhǔn)庫，關(guān)聯(lián)容器等知識。 |
2 |
|
9 |
C++進(jìn)程管理 |
了解進(jìn)程的概念，基于C++開發(fā)機(jī)器人程序進(jìn)程。 |
2 |
|
10 |
C++線程管理 |
了解線程的概念，基于C++開發(fā)機(jī)器人程序多線程。 |
2 |
|
機(jī)器人編程（Python）（24課時） |
|||
|
編號 |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
Python簡介 |
了解機(jī)器人中的Python應(yīng)用，了解為什么Python是機(jī)器人很重要的開發(fā)語言，使用vscode配置Python開發(fā)環(huán)境。 |
2 |
|
2 |
Python數(shù)據(jù)結(jié)構(gòu) |
在機(jī)器人的嵌入式AI處理器中，開發(fā)Python應(yīng)用程序，學(xué)習(xí)Python中的變量，數(shù)組與數(shù)據(jù)類型。 |
2 |
|
3 |
Python運(yùn)算符 |
在機(jī)器人的嵌入式AI處理器中，開發(fā)Python應(yīng)用程序，學(xué)習(xí)Python中的加減乘除移位等各類數(shù)字邏輯運(yùn)算符。 |
2 |
|
4 |
Python的控制結(jié)構(gòu) |
在機(jī)器人的嵌入式AI處理器中，開發(fā)Python應(yīng)用程序，學(xué)習(xí)if-else，while等各類控制結(jié)構(gòu)。 |
2 |
|
5 |
Python的函數(shù)與指針 |
在機(jī)器人的嵌入式AI處理器中，開發(fā)Python應(yīng)用程序，學(xué)習(xí)并了解函數(shù)與指針。 |
2 |
|
6 |
Python的面向?qū)ο缶幊?span style="display:none">0id北京博創(chuàng)尚和科技有限公司 |
在機(jī)器人的嵌入式AI處理器中，開發(fā)Python應(yīng)用程序，學(xué)習(xí)并了解面向?qū)ο缶幊獭?span style="display:none">0id北京博創(chuàng)尚和科技有限公司 |
2 |
|
7 |
常用機(jī)器人Python庫 |
Python中機(jī)器人開發(fā)常用的標(biāo)準(zhǔn)庫，如Numpy，MatPlotlib等知識，在機(jī)器人的嵌入式AI處理器中進(jìn)行庫的使用。 |
2 |
|
8 |
Python串口編程 |
了解Python的串口庫pyserial，安裝串口調(diào)試助手，了解Python如何調(diào)用系統(tǒng)中的串口，與Windows主機(jī)進(jìn)行通信。 |
2 |
|
9 |
Python網(wǎng)絡(luò)編程 |
了解Python的網(wǎng)絡(luò)編程類socket，了解數(shù)據(jù)交換格式Json，安裝網(wǎng)絡(luò)調(diào)試助手，了解Python如何與Windows主機(jī)進(jìn)行網(wǎng)絡(luò)通信。 |
2 |
|
10 |
UI編程框架PyQt |
了解Python的UI編程架構(gòu)PyQt，基于PyQt編寫UI程序，查詢機(jī)器人處理器信息。 |
2 |
|
11 |
環(huán)境管理工具Conda |
了解Python為什么要做環(huán)境隔離，在機(jī)器人系統(tǒng)中安裝并使用環(huán)境包管理工具Conda。 |
2 |
|
12 |
交互式開發(fā)工具Jupyter |
了解Jupyter開發(fā)工具，在機(jī)器人系統(tǒng)中安裝Jupyter并進(jìn)行交互式Python開發(fā)與調(diào)試。 |
2 |
|
數(shù)字圖像處理基礎(chǔ)（20課時） |
|||
|
編號 |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
OpenCV簡介 |
了解機(jī)器視覺與數(shù)字圖像處理的基本內(nèi)容，了解最常用的數(shù)字圖像處理庫OpenCV。 |
2 |
|
2 |
圖像采集 |
熟悉實(shí)驗(yàn)設(shè)備，打開并配置相機(jī)，進(jìn)行圖像拍攝與保存。 |
2 |
|
3 |
圖像生成 |
在機(jī)器人的嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，生成圖像，并對圖像進(jìn)行操作。 |
2 |
|
4 |
圖像濾波 |
在機(jī)器人的嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，實(shí)現(xiàn)圖像的各種濾波操作。 |
2 |
|
5 |
圖像變換 |
在機(jī)器人的嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，進(jìn)行圖像的平移旋轉(zhuǎn)縮放等各類操作。 |
2 |
|
6 |
圖像特征提取 |
在機(jī)器人的嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，進(jìn)行圖像的點(diǎn)特征和線特征提取。 |
2 |
|
7 |
圖像的像素處理 |
在機(jī)器人的處理器中，開發(fā)OpenCV應(yīng)用程序，進(jìn)行圖像的像素計(jì)算。 |
2 |
|
8 |
圖像顏色空間 |
了解灰度，RGB，HSV等各種顏色空間，并在機(jī)器人的嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，進(jìn)行顏色空間轉(zhuǎn)換。 |
2 |
|
9 |
形態(tài)學(xué)運(yùn)算 |
在機(jī)器人的嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，進(jìn)行對圖像的腐蝕膨脹與開閉運(yùn)算。 |
2 |
|
10 |
閾值處理與圖像分割 |
了解圖像二值化的原理，了解閾值分割的方法，在機(jī)器人的嵌入式AI處理器中基于圖像像素顏色閾值進(jìn)行分割。 |
2 |
|
機(jī)器人操作系統(tǒng)（20課時） |
|||
|
編號 |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
機(jī)器人操作系統(tǒng)入門 |
了解什么是ROS機(jī)器人操作系統(tǒng)，ROS的系統(tǒng)組成，ROS的運(yùn)行原理，配置在個人PC上安裝虛擬機(jī)，在虛擬機(jī)安裝ROS操作系統(tǒng)，啟動小烏龜，建立一個工作空間，創(chuàng)建一個功能包，實(shí)現(xiàn)一個ROS節(jié)點(diǎn)。 |
2 |
|
2 |
主題與消息 |
了解ROS的主題與消息機(jī)制，基于C++和Python實(shí)現(xiàn)主題與消息，實(shí)現(xiàn)自定義主題與消息。 |
2 |
|
3 |
服務(wù)Service |
了解ROS的服務(wù)機(jī)制，基于C++和Python實(shí)現(xiàn)服務(wù)的服務(wù)端與客戶端，實(shí)現(xiàn)自定義服務(wù)。 |
2 |
|
4 |
參數(shù)與動態(tài)參數(shù) |
了解ROS的參數(shù)機(jī)制，基于C++和Python實(shí)現(xiàn)參數(shù)的增、刪、改、查。了解ROS中的高級功能-動態(tài)參數(shù)原理和運(yùn)行機(jī)制，實(shí)現(xiàn)使用動態(tài)參數(shù)調(diào)節(jié)小烏龜運(yùn)動速度。 |
2 |
|
5 |
動作Action |
了解ROS的動作機(jī)制，基于C++和Python實(shí)現(xiàn)動作的服務(wù)端與客戶端，實(shí)現(xiàn)自定義Action。 |
2 |
|
6 |
ROS中的調(diào)試與仿真工具 |
了解ROS工具箱中的RViz工具與rqt工具，了解ROS的日志系統(tǒng)，掌握調(diào)試ROS程序的方法。在虛擬機(jī)中安裝配置Gazebo仿真系統(tǒng)，在仿真中運(yùn)行UPROS機(jī)器人模型。在仿真中運(yùn)行機(jī)器人定位導(dǎo)航，體會ROS的功能。 |
2 |
|
7 |
機(jī)器人坐標(biāo)與TF變換 |
理解機(jī)器人坐標(biāo)系原理，熟悉TF變換工具，學(xué)會使用TF包，編寫TF發(fā)布與接收程序。 |
2 |
|
8 |
機(jī)器人運(yùn)動控制與輪式里程計(jì) |
了解機(jī)器人雙腦架構(gòu)，了解機(jī)器人運(yùn)動模型，在機(jī)器人中編寫節(jié)點(diǎn)，控制機(jī)器人底盤運(yùn)動，學(xué)習(xí)輪式里程計(jì)數(shù)據(jù)協(xié)議，基于輪式里程計(jì)控制機(jī)器人運(yùn)動。 |
2 |
|
9 |
ROS與機(jī)器人定位導(dǎo)航 |
體驗(yàn)機(jī)器人的定位導(dǎo)航功能，了解SLAM與路徑規(guī)劃技術(shù)，編寫一個節(jié)點(diǎn)，發(fā)布目標(biāo)點(diǎn)控制機(jī)器人運(yùn)動。 |
2 |
|
10 |
ROS與機(jī)器視覺 |
體驗(yàn)ROS系統(tǒng)中的機(jī)器視覺功能，編寫程序訂閱攝像頭的信息，并控制機(jī)器人進(jìn)行決策。 |
2 |
|
機(jī)器人感知傳感（20課時） |
|||
|
編號 |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
碰撞傳感器 |
了解接觸式碰撞傳感器的工作原理，讀取碰撞傳感器的數(shù)據(jù)，學(xué)習(xí)并開發(fā)碰撞傳感器ROS通訊接口，根據(jù)碰撞傳感器實(shí)現(xiàn)障礙感知。 |
2 |
|
2 |
超聲/TOF傳感器 |
了解超聲/TOF傳感器的工作原理，讀取超聲/TOF傳感器數(shù)據(jù)，學(xué)習(xí)并開發(fā)超聲/TOF傳感器通訊接口，根據(jù)傳感器消息實(shí)現(xiàn)避障。 |
2 |
|
3 |
慣性測量單元傳感器 |
學(xué)習(xí)慣性測量單元（IMU）的原理，通過IMU讀取機(jī)器人當(dāng)前的姿態(tài)，角速度，加速度，根據(jù)IMU數(shù)據(jù)控制機(jī)器人姿態(tài)。 |
2 |
|
4 |
激光雷達(dá)傳感器 |
學(xué)習(xí)激光雷達(dá)的工作原理，對激光雷達(dá)數(shù)據(jù)進(jìn)行濾波處理， 根據(jù)激光雷達(dá)數(shù)據(jù)進(jìn)行避障。 |
2 |
|
5 |
視覺傳感器 |
學(xué)習(xí)相機(jī)的工作原理，獲取視覺信息并根據(jù)視覺信息控制機(jī)器人運(yùn)動。 |
2 |
|
6 |
深度視覺傳感器 |
學(xué)習(xí)深度相機(jī)的工作原理，處理深度圖像與深度點(diǎn)云，對環(huán)境進(jìn)行三維感知。 |
2 |
|
7 |
機(jī)器人輪式里程計(jì) |
了解編碼器的概念，學(xué)習(xí)輪式里程計(jì)數(shù)據(jù)協(xié)議，基于輪式里程計(jì)控制機(jī)器人運(yùn)動。 |
2 |
|
8 |
多傳感器融合-EKF里程計(jì)算 |
融合輪式里程計(jì)與IMU的信息，進(jìn)行里程計(jì)的融合計(jì)算。 |
2 |
|
9 |
多傳感器融合-激光SLAM |
融合輪式里程計(jì)與IMU信息，了解三者信息如何融合，利用激光SLAM技術(shù)感知機(jī)器人周圍環(huán)境。 |
2 |
|
10 |
多傳感器融合-協(xié)同避障 |
融合激光雷達(dá)與深度相機(jī)信息，激光雷達(dá)進(jìn)行大范圍障礙感知，深度相機(jī)進(jìn)行眼前補(bǔ)盲，學(xué)習(xí)不同類型傳感器在障礙感知的作用。 |
2 |
|
機(jī)器視覺與AI（20課時） |
|||
|
編號 |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
視覺傳感器 |
學(xué)習(xí)相機(jī)的工作原理，獲取視覺信息并根據(jù)視覺信息控制機(jī)器人運(yùn)動。 |
2 |
|
2 |
AprilTag識別 |
學(xué)習(xí)如何基于ROS圖像提取AprilTag，輔助機(jī)器人進(jìn)行視覺定位。 |
2 |
|
3 |
顏色識別 |
學(xué)習(xí)如何基于ROS圖像提取顏色，進(jìn)行顏色識別，并根據(jù)顏色進(jìn)行交通燈識別與運(yùn)動。 |
2 |
|
4 |
形狀識別 |
學(xué)習(xí)如何基于ROS圖像提取顏色，并根據(jù)顏色獲取出的形狀特征使用霍夫變換的方法提取特定的形狀，對形狀進(jìn)行跟隨。 |
2 |
|
5 |
視覺巡線功能 |
學(xué)習(xí)提取視野中的線條，并實(shí)現(xiàn)基于視覺的巡線功能。 |
2 |
|
6 |
人臉識別 |
學(xué)習(xí)如何基于ROS識別人臉，提取人臉特征，采集人臉信息，訓(xùn)練模型識別人臉。 |
2 |
|
7 |
表情識別 |
學(xué)習(xí)如何定位出人臉的多個特征點(diǎn)，并依據(jù)人臉特征，采用機(jī)器學(xué)習(xí)的方法識別表情，并作出對應(yīng)動作。 |
2 |
|
8 |
手勢識別與交互 |
學(xué)習(xí)MediaPipe框架，如何基于該框架識別手勢控制機(jī)器人。 |
2 |
|
9 |
深度學(xué)習(xí)目標(biāo)檢測 |
了解深度學(xué)習(xí)與卷積神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)如何基于機(jī)器人的嵌入式AI芯片進(jìn)行目標(biāo)檢測。 |
2 |
|
10 |
視覺傳感器位姿估計(jì) |
了解視覺SLAM的方法，學(xué)習(xí)如何基于視覺傳感器估計(jì)機(jī)器人的移動。 |
2 |
|
機(jī)器人學(xué)（20課時） |
|||
|
編號 |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
機(jī)械臂關(guān)節(jié)控制 |
了解智能機(jī)械臂的工作原理，基于ROS接口驅(qū)動機(jī)械臂關(guān)節(jié)運(yùn)動，基于ROS接口驅(qū)動機(jī)械臂夾爪開合。 |
2 |
|
2 |
機(jī)械臂關(guān)節(jié)校準(zhǔn) |
了解機(jī)械臂產(chǎn)生零偏誤差的原理，標(biāo)記機(jī)械臂關(guān)節(jié)零篇誤差，實(shí)現(xiàn)機(jī)械臂關(guān)節(jié)校準(zhǔn)功能。 |
2 |
|
3 |
機(jī)械臂正逆運(yùn)動學(xué)解析 |
了解五自由度機(jī)械臂正逆運(yùn)動學(xué)分析解算，測量機(jī)械臂各個關(guān)節(jié)，控制各個關(guān)節(jié)的角度，計(jì)算不同角度下機(jī)械臂末端的期望位置，并對實(shí)際位置進(jìn)行測量計(jì)算誤差，對機(jī)械臂進(jìn)行逆運(yùn)算計(jì)算。 |
2 |
|
4 |
機(jī)械臂YZ平面逆運(yùn)算控制 |
根據(jù)末端位置進(jìn)行YZ平面逆運(yùn)算計(jì)算，并控制機(jī)械臂到達(dá)指定末端，與理論值對比思考誤差產(chǎn)生的原因。 |
2 |
|
5 |
根據(jù)TOF傳感器控制機(jī)械臂抓取 |
根據(jù)機(jī)械臂前方TOF傳感器信息獲取待抓取物塊距離，根據(jù)逆運(yùn)動學(xué)計(jì)算出各個關(guān)節(jié)角度，完成抓取與放置，調(diào)整參數(shù)增加成功率。 |
2 |
|
6 |
機(jī)械臂XYZ立體逆運(yùn)算控制 |
根據(jù)末端位置進(jìn)行XYZ立體環(huán)境的逆運(yùn)算計(jì)算，并控制機(jī)械臂到達(dá)指定末端，與理論值對比思考誤差產(chǎn)生的原因。 |
2 |
|
7 |
視覺感知抓取 |
根據(jù)機(jī)械臂前方的深度視覺傳感器依據(jù)物塊上的Tag信息獲取待抓取物塊的絕對位置，根據(jù)逆運(yùn)動學(xué)計(jì)算出各個關(guān)節(jié)角度，完成抓取與放置。 |
2 |
|
8 |
連續(xù)感知分揀 |
根據(jù)機(jī)械臂前方的深度視覺傳感器依據(jù)物塊上的Tag信息獲取待抓取物塊的絕對位置，根據(jù)逆運(yùn)動學(xué)計(jì)算出各個關(guān)節(jié)角度，完成連續(xù)分揀。 |
2 |
|
9 |
Moveit!配置 |
初步了解強(qiáng)大的ROS的機(jī)械臂功能包Moveit!，于Moveit!配置機(jī)械臂運(yùn)動規(guī)劃。 |
2 |
|
10 |
Moveit!編程 |
編寫代碼，實(shí)現(xiàn)指定關(guān)節(jié)、指定末端位置、指定動作組的運(yùn)動規(guī)劃與執(zhí)行。 |
2 |
|
機(jī)器人定位導(dǎo)航（20課時） |
|||
|
編號 |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
坐標(biāo)系與坐標(biāo)變換 |
理解機(jī)器人坐標(biāo)系原理，熟悉TF變換工具，學(xué)會使用TF包，編寫TF發(fā)布與接收程序。 |
2 |
|
2 |
機(jī)器人輪式里程計(jì) |
了解編碼器的概念，學(xué)習(xí)輪式里程計(jì)數(shù)據(jù)協(xié)議，基于輪式里程計(jì)控制機(jī)器人運(yùn)動。 |
2 |
|
3 |
激光雷達(dá) |
學(xué)習(xí)激光雷達(dá)的工作原理，對激光雷達(dá)數(shù)據(jù)進(jìn)行濾波處理， 根據(jù)激光雷達(dá)數(shù)據(jù)進(jìn)行避障。 |
2 |
|
4 |
MoveBase初探 |
初步了解強(qiáng)大的ROS定位導(dǎo)航功能包MoveBase，基于MoveBase配置機(jī)器人定位導(dǎo)航與路徑規(guī)劃系統(tǒng)。 |
2 |
|
5 |
MoveBase編程開發(fā) |
了解MoveBase的通信接口，控制機(jī)器人移動到指定位置，實(shí)現(xiàn)通過MoveBase接口編程開發(fā)。 |
2 |
|
6 |
柵格地圖 |
了解機(jī)器人SLAM系統(tǒng)的原理，學(xué)習(xí)概率柵格地圖，了解如何發(fā)布和構(gòu)建概率柵格地圖。 |
2 |
|
7 |
激光雷達(dá)地圖拼接 |
驅(qū)動激光雷達(dá)，基于激光雷達(dá)傳感器與里程計(jì)拼接出概 率柵格地圖。 |
2 |
|
8 |
地圖構(gòu)建與定位 |
使用Gmapping建立和保存地圖； |
2 |
|
9 |
路徑規(guī)劃系統(tǒng)實(shí)驗(yàn) |
了解機(jī)器人代價地圖與路徑規(guī)劃系統(tǒng)原理，配置代價地圖， 全局規(guī)劃和局部規(guī)劃器，實(shí)現(xiàn)簡單的A*全局路徑規(guī)劃算法和DWA局部路徑規(guī)劃算法。編寫一個簡單的規(guī)劃與控制器CoreMove，更深入的體會MoveBase的運(yùn)行邏輯。 |
2 |
|
10 |
MoveBase插件機(jī)制學(xué)習(xí)與開發(fā) |
了解MoveBase的插件機(jī)制，學(xué)習(xí)基于插件實(shí)現(xiàn)禁區(qū)虛擬墻、TEB 規(guī)劃器、脫困恢復(fù)行為的功能。 |
2 |
|
機(jī)器人建模與仿真（20課時） |
|||
|
編號 |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
Gazebo環(huán)境搭建與基礎(chǔ)操作 |
了解Gazebo的基本配置，Gazebo界面介紹與基本操作，建立Gazebo模型。 |
2 |
|
2 |
機(jī)器人建模 |
了解Urdf與Xacro語法，了解機(jī)器人的連桿與關(guān)節(jié)，搭建機(jī)器人模型，配置機(jī)器人模型參數(shù)。 |
2 |
|
3 |
激光雷達(dá)模型添加與參數(shù)配置 |
學(xué)習(xí)在機(jī)器人模型上，添加激光雷達(dá)，并配置傳感器的參數(shù)和位置。 |
2 |
|
4 |
IMU模型添加與參數(shù)配置 |
學(xué)習(xí)在機(jī)器人模型上，添加IMU，并配置傳感器的參數(shù)和位置。 |
2 |
|
5 |
視覺傳感器模型添加與參數(shù)配置 |
學(xué)習(xí)在機(jī)器人模型上，添加視覺傳感器，并配置傳感器的參數(shù)和位置。 |
2 |
|
6 |
超聲傳感器 |
學(xué)習(xí)在機(jī)器人模型上，添加超聲傳感器，并配置傳感器的參數(shù)和位置。 |
2 |
|
7 |
機(jī)器人運(yùn)動控制 |
ROS通過Gazebo插件控制仿真場景中的機(jī)器人運(yùn)動，編寫機(jī)械臂驅(qū)動，在Gazebo中控制機(jī)械臂。 |
2 |
|
8 |
自定義機(jī)器人運(yùn)動插件編寫 |
編寫全向移動插件，在Gazebo中實(shí)現(xiàn)全向移動機(jī)器人。 |
2 |
|
9 |
自定義模型開發(fā) |
利用Gazebo的地形編輯工具和模型庫，創(chuàng)建一個復(fù)雜的仿真環(huán)境，在場景中部署指定紋理。 |
2 |
|
10 |
仿真中的定位導(dǎo)航機(jī)器人 |
在自定義場景中加載自行搭建配置的機(jī)器人，部署在仿真場景中移動并完成任務(wù)。 |
2 |
|
機(jī)器人自對話與大模型交互（20課時） |
|||
|
編號 |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
場景分析 |
分析當(dāng)前機(jī)器人接入大模型的應(yīng)用場景，剖析機(jī)器人接入大模型的技術(shù)路線和技能方法，了解如何通過ROS系統(tǒng)為機(jī)器人接入大模型，學(xué)會使用機(jī)器人開發(fā)。 |
2 |
|
2 |
機(jī)器人硬件驅(qū)動 |
在ROS環(huán)境下，開發(fā)節(jié)點(diǎn)驅(qū)動機(jī)器人運(yùn)動，可控制機(jī)器人移動，控制機(jī)械臂運(yùn)動。 |
2 |
|
3 |
機(jī)器人傳感器獲取 |
在ROS環(huán)境下，開發(fā)節(jié)點(diǎn)獲取機(jī)器人當(dāng)前的各傳感器通信接口，讀取各傳感器信息。 |
2 |
|
4 |
機(jī)器人定位導(dǎo)航 |
調(diào)用機(jī)器人搭載的MoveBase框架，可編寫節(jié)點(diǎn)發(fā)布Action實(shí)現(xiàn)機(jī)器人自主定位導(dǎo)航。 |
2 |
|
5 |
麥克風(fēng)數(shù)據(jù)處理 |
調(diào)試并獲取機(jī)器人上麥克風(fēng)信息，使得麥克風(fēng)接入ROS系統(tǒng)，可實(shí)現(xiàn)語音獲取。 |
2 |
|
6 |
語音轉(zhuǎn)文字 |
基于離線AI模型，實(shí)現(xiàn)ASR功能，讀取麥克風(fēng)的信息并轉(zhuǎn)換為文字。 |
2 |
|
7 |
文字轉(zhuǎn)語音 |
基于離線AI模型，實(shí)現(xiàn)TTS功能，將文字信息轉(zhuǎn)化為語音信息并通過揚(yáng)聲器播放。 |
2 |
|
8 |
大模型問答 |
注冊大模型AI工具，編寫程序通過大模型API，調(diào)用Json實(shí)現(xiàn)智能問答。 |
2 |
|
9 |
語義理解 |
分析語音識別的文字，并提取其中的意圖和序列，實(shí)現(xiàn)語音控制機(jī)器人。 |
2 |
|
10 |
大模型機(jī)器人集成 |
串聯(lián)上述知識點(diǎn)，編寫接口程序，實(shí)現(xiàn)可語音控制并語音交互的大模型接入機(jī)器人。 |
2 |
|
服務(wù)機(jī)器人綜合實(shí)踐-家用場景（40課時） |
|||
|
編號 |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
場景分析 |
分析當(dāng)前家用機(jī)器人場景，以掃地機(jī)器人為案例，剖析家用機(jī)器人的的技術(shù)路線和技能方法，了解ROS在家用機(jī)器人領(lǐng)域的應(yīng)用，學(xué)會使用機(jī)器人開發(fā)。 |
4 |
|
2 |
機(jī)器人硬件驅(qū)動 |
在ROS環(huán)境下，開發(fā)節(jié)點(diǎn)驅(qū)動機(jī)器人運(yùn)動，可控制機(jī)器人移動，控制機(jī)械臂運(yùn)動。 |
4 |
|
3 |
機(jī)器人傳感器獲取 |
在ROS環(huán)境下，開發(fā)節(jié)點(diǎn)獲取機(jī)器人當(dāng)前的各傳感器通信接口，讀取各傳感器信息。 |
4 |
|
4 |
機(jī)器人建圖與定位 |
使用Gmapping建立和保存地圖； |
4 |
|
5 |
機(jī)器人導(dǎo)航 |
編寫節(jié)點(diǎn)發(fā)布Action，機(jī)器人可在地圖上標(biāo)定點(diǎn)進(jìn)行連續(xù)導(dǎo)航。 |
4 |
|
6 |
視覺系統(tǒng)調(diào)試 |
在ROS環(huán)境下，開發(fā)節(jié)點(diǎn)獲取機(jī)器人攝像頭信息，保存并處理圖像，在圖像上繪制標(biāo)注信息。 |
4 |
|
7 |
AprilTag識別 |
在ROS環(huán)境下，使用攝像頭識別AprilTag，并根據(jù)AprilTag獲取的信息控制機(jī)器人導(dǎo)航到不同位置 |
4 |
|
8 |
全覆蓋路徑生成 |
了解掃地機(jī)器人最常用的全覆蓋路徑規(guī)劃技術(shù)，實(shí)現(xiàn)生成若干點(diǎn)位覆蓋目標(biāo)清潔區(qū)域。 |
4 |
|
9 |
業(yè)務(wù)邏輯串聯(lián) |
串聯(lián)前面的各項(xiàng)技術(shù)，實(shí)現(xiàn)識別一個目標(biāo)，自主導(dǎo)航到指定區(qū)域，并執(zhí)行全覆蓋路徑規(guī)劃。 |
4 |
|
10 |
多片路徑清掃 |
在單流程基礎(chǔ)上，實(shí)現(xiàn)多片清潔區(qū)域的串聯(lián)，優(yōu)化路徑長度，在完成清掃任務(wù)同時，效率最高。 |
4 |
|
服務(wù)機(jī)器人綜合實(shí)踐-商用場景（40課時） |
|||
|
編號 |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
場景分析 |
分析當(dāng)前商用機(jī)器人場景，以配送機(jī)器人為案例，剖析視覺移動抓取機(jī)器人的的技術(shù)路線和技能方法，了解ROS在商用機(jī)器人領(lǐng)域的應(yīng)用，學(xué)會使用機(jī)器人開發(fā)。 |
4 |
|
2 |
機(jī)器人硬件驅(qū)動 |
在ROS環(huán)境下，開發(fā)節(jié)點(diǎn)驅(qū)動機(jī)器人運(yùn)動，可控制機(jī)器人移動，控制機(jī)械臂運(yùn)動。 |
4 |
|
3 |
機(jī)器人傳感器獲取 |
在ROS環(huán)境下，開發(fā)節(jié)點(diǎn)獲取機(jī)器人當(dāng)前的各傳感器通信接口，讀取各傳感器信息。 |
4 |
|
4 |
機(jī)器人建圖與定位 |
使用Gmapping建立和保存地圖； |
4 |
|
5 |
機(jī)器人導(dǎo)航 |
編寫節(jié)點(diǎn)發(fā)布Action，機(jī)器人可在地圖上標(biāo)定點(diǎn)進(jìn)行連續(xù)導(dǎo)航。 |
4 |
|
6 |
視覺系統(tǒng)調(diào)試 |
在ROS環(huán)境下，開發(fā)節(jié)點(diǎn)獲取機(jī)器人攝像頭信息，保存并處理圖像，在圖像上繪制標(biāo)注信息。 |
4 |
|
7 |
AprilTag識別 |
在ROS環(huán)境下，使用攝像頭識別AprilTag，并根據(jù)AprilTag獲取的信息控制機(jī)器人導(dǎo)航到不同位置。 |
4 |
|
8 |
視覺抓取調(diào)試 |
機(jī)器人通過AprilTag確定待抓取物體與機(jī)器人的位置關(guān)系，控制機(jī)械臂完成抓取與放置。 |
4 |
|
9 |
業(yè)務(wù)邏輯串聯(lián) |
串聯(lián)前面的各項(xiàng)技術(shù)，實(shí)現(xiàn)導(dǎo)航到一個目標(biāo)點(diǎn)，抓取待識別物體，并放置到指定位置。 |
4 |
|
10 |
連續(xù)任務(wù)串聯(lián) |
在單流程基礎(chǔ)上，實(shí)現(xiàn)多個物體的聯(lián)合抓取與投放，優(yōu)化路徑長度，在完成抓取投放任務(wù)同時，效率最高。 |
4 |
|
服務(wù)機(jī)器人綜合實(shí)踐-工業(yè)場景（40課時） |
|||
|
編號 |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
場景分析 |
分析當(dāng)前工業(yè)用移動機(jī)器人場景，以復(fù)合AMR機(jī)器人為案例，剖析視覺移動抓取機(jī)器人的的技術(shù)路線和技能方法，了解ROS在工業(yè)機(jī)器人領(lǐng)域的應(yīng)用，學(xué)會使用機(jī)器人開發(fā)。 |
4 |
|
2 |
機(jī)器人硬件驅(qū)動 |
在ROS環(huán)境下，開發(fā)節(jié)點(diǎn)驅(qū)動機(jī)器人運(yùn)動，可控制機(jī)器人移動，控制機(jī)械臂運(yùn)動。 |
4 |
|
3 |
機(jī)器人傳感器獲取 |
在ROS環(huán)境下，開發(fā)節(jié)點(diǎn)獲取機(jī)器人當(dāng)前的各傳感器通信接口，讀取各傳感器信息。 |
4 |
|
4 |
機(jī)器人建圖與定位 |
使用Gmapping建立和保存地圖； |
4 |
|
5 |
機(jī)器人導(dǎo)航 |
編寫節(jié)點(diǎn)發(fā)布Action，機(jī)器人可在地圖上標(biāo)定點(diǎn)進(jìn)行連續(xù)導(dǎo)航。 |
4 |
|
6 |
視覺系統(tǒng)調(diào)試 |
在ROS環(huán)境下，開發(fā)節(jié)點(diǎn)獲取機(jī)器人攝像頭信息，保存并處理圖像，在圖像上繪制標(biāo)注信息。 |
4 |
|
7 |
AprilTag識別 |
在ROS環(huán)境下，使用攝像頭識別AprilTag，并根據(jù)AprilTag獲取的信息控制機(jī)器人導(dǎo)航到不同位置。 |
4 |
|
8 |
視覺抓取調(diào)試 |
機(jī)器人通過AprilTag確定待抓取物體與機(jī)器人的位置關(guān)系，控制機(jī)械臂完成抓取與放置。 |
4 |
|
9 |
業(yè)務(wù)邏輯串聯(lián) |
串聯(lián)前面的各項(xiàng)技術(shù)，實(shí)現(xiàn)導(dǎo)航到一個目標(biāo)點(diǎn)，抓取待識別物體，并放置到指定位置。 |
4 |
|
10 |
連續(xù)任務(wù)串聯(lián) |
在單流程基礎(chǔ)上，實(shí)現(xiàn)多個物體的聯(lián)合抓取與投放，優(yōu)化路徑長度，在完成抓取投放任務(wù)同時，效率最高。 |
4 |
|
智能機(jī)器人建模仿真綜合實(shí)踐（40課時） |
|||
|
編號 |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
場景分析 |
分析仿真環(huán)節(jié)在機(jī)器人軟件與算法開發(fā)、驗(yàn)證過程中的重大作用，學(xué)習(xí)ROS與仿真場景的結(jié)合，通過一個路徑規(guī)劃算法的實(shí)踐案例，了解仿真算法聯(lián)合開發(fā)流程。 |
4 |
|
2 |
機(jī)器人仿真啟動 |
在ROS環(huán)境下，開發(fā)節(jié)點(diǎn)驅(qū)動仿真場景中的機(jī)器人運(yùn)動，可控制機(jī)器人移動，控制機(jī)械臂關(guān)節(jié)運(yùn)動，理解ROS的硬件驅(qū)動抽象。 |
4 |
|
3 |
機(jī)器人傳感器獲取 |
在ROS環(huán)境下，開發(fā)節(jié)點(diǎn)獲取仿真場景中機(jī)器人當(dāng)前的各傳感器通信接口，讀取各傳感器信息。 |
4 |
|
4 |
機(jī)器人建圖與定位 |
在仿真場景中使用Gmapping建立和保存地圖， |
4 |
|
5 |
機(jī)器人導(dǎo)航 |
編寫節(jié)點(diǎn)發(fā)布Action，在仿真場景中機(jī)器人可在地圖上標(biāo)定點(diǎn)進(jìn)行連續(xù)導(dǎo)航。 |
4 |
|
6 |
算法驗(yàn)證軟件使用 |
了解算法驗(yàn)證軟件的使用方法，了解算法驗(yàn)證軟件如何通過算法判斷路徑規(guī)劃軌跡的質(zhì)量，了解算法驗(yàn)證軟件如何支撐算法驗(yàn)證。 |
4 |
|
7 |
仿真接口開發(fā) |
在仿真系統(tǒng)中，根據(jù)仿真接口和算法驗(yàn)證軟件接口開發(fā)程序，使得算法可接入驗(yàn)證系統(tǒng)。 |
4 |
|
8 |
開發(fā)柵格法路徑規(guī)劃 |
通過柵格法，開發(fā)算法遍歷路徑，在仿真環(huán)境中運(yùn)行，并通過算法驗(yàn)證系統(tǒng)計(jì)算得分。 |
4 |
|
9 |
開發(fā)深度優(yōu)先搜索路徑規(guī)劃 |
通過路徑優(yōu)先搜索法，開發(fā)算法遍歷路徑，在仿真環(huán)境中運(yùn)行，并通過算法驗(yàn)證系統(tǒng)計(jì)算得分。 |
4 |
|
10 |
掃描線法路徑規(guī)劃 |
通過掃描線法，開發(fā)算法遍歷路徑，在仿真環(huán)境中運(yùn)行，并通過算法驗(yàn)證系統(tǒng)計(jì)算得分，思考幾種算法得分不同的原因，并思考優(yōu)化方法在驗(yàn)證系統(tǒng)中驗(yàn)證。 |
4 |
|
具身智能綜合實(shí)踐（40課時） |
|||
|
編號 |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
場景分析 |
分析具身智能技術(shù)使用場景，當(dāng)前熱點(diǎn)方向，了解如何結(jié)合ROS機(jī)器人操作系統(tǒng)開發(fā)具身智能應(yīng)用，具身智能的概念、發(fā)展歷程和應(yīng)用領(lǐng)域。 |
4 |
|
2 |
ROS基礎(chǔ)入門 |
ROS 的核心概念：節(jié)點(diǎn)、話題、服務(wù)、參數(shù)服務(wù)器，編寫簡單的 ROS 節(jié)點(diǎn)，實(shí)現(xiàn)節(jié)點(diǎn)之間的消息通信。 |
4 |
|
3 |
機(jī)器人平臺介紹 |
機(jī)器人的機(jī)械結(jié)構(gòu)和模塊組成，機(jī)器人的傳感器和執(zhí)行器的工作原理，了解機(jī)器人的電氣連接和通信接口，學(xué)習(xí)如何基于機(jī)器人處理器平臺進(jìn)行開發(fā)。 |
4 |
|
4 |
機(jī)器人感知與建模 |
在ROS環(huán)境下，開發(fā)節(jié)點(diǎn)獲取機(jī)器人當(dāng)前的各傳感器通信接口，讀取各傳感器信息，建立和保存地圖，在保存的地圖上連續(xù)定位使用坐標(biāo)變換獲取在地圖上的位置。 |
4 |
|
5 |
機(jī)器人運(yùn)動控制 |
編寫 ROS 節(jié)點(diǎn)，實(shí)現(xiàn)機(jī)器人的基本運(yùn)動控制，如前進(jìn)、后退、轉(zhuǎn)彎，計(jì)簡單的軌跡規(guī)劃算法，讓機(jī)器人按照指定的路徑運(yùn)動。 |
4 |
|
6 |
機(jī)器視覺系統(tǒng) |
采集深度傳感器信息，獲取深度圖像和彩色圖像，采集圖像數(shù)據(jù)并保存在本地。 |
4 |
|
7 |
具身算法實(shí)踐-上 |
在 ROS 環(huán)境下，使用強(qiáng)化學(xué)習(xí)算法訓(xùn)練機(jī)器人完成特定任務(wù)，如導(dǎo)航、抓取等。 |
4 |
|
8 |
具身算法實(shí)踐-下 |
在 ROS 環(huán)境下，使用強(qiáng)化學(xué)習(xí)算法訓(xùn)練機(jī)器人完成特定任務(wù)，如導(dǎo)航、抓取等。 |
4 |
|
9 |
項(xiàng)目實(shí)踐與小組討論-上 |
根據(jù)機(jī)器人平臺和 ROS 設(shè)計(jì)并實(shí)現(xiàn)一個具身智能項(xiàng)目，如自主探索、目標(biāo)識別與抓取等。 |
4 |
|
10 |
項(xiàng)目實(shí)踐與小組討論-下 |
根據(jù)機(jī)器人平臺和 ROS 設(shè)計(jì)并實(shí)現(xiàn)一個具身智能項(xiàng)目，如自主探索、目標(biāo)識別與抓取等。 |
4 |