摘 要

針對(duì)現(xiàn)有煤礦井下帶式輸送機(jī)巡檢目標(biāo)識(shí)別(尤其是小目標(biāo)缺陷識(shí)別)精度較低問題，提出了一種基于深度學(xué)習(xí)的目標(biāo)智能檢測方法。采用YOLOv5 模型作為基礎(chǔ)網(wǎng)絡(luò)，引入了Res2Net 多尺度特征表征模塊，替換主干網(wǎng)絡(luò)中C3 模塊的 Bottleneck，以在網(wǎng)絡(luò)中增加感受野通道。在主干網(wǎng)絡(luò)和特征融合網(wǎng)絡(luò)中引入CA注意力機(jī)制，提升通道利用率和帶面早期損傷檢測精度。使用數(shù)據(jù)集訓(xùn)練YOLOv5 模型，并與原有YOLOv5 框架對(duì)比試驗(yàn)。經(jīng)現(xiàn)場試驗(yàn)驗(yàn)證，使用訓(xùn)練后的模型對(duì)輸送帶跑偏距離≥10 cm的檢測準(zhǔn)確率≥95%，對(duì)縱撕長度≥10 cm的檢測準(zhǔn)確率為80%~95%，對(duì)異物檢測異物規(guī)格>80 mm的檢測準(zhǔn)確率為80%~95%，托輥異常檢測準(zhǔn)確率為96%。相比優(yōu)化改進(jìn)之前，加權(quán)檢測準(zhǔn)確度從83%提高到95%。

文章來源：《智能礦山》2025年第11期“礦山機(jī)器人技術(shù)創(chuàng)新與實(shí)踐特刊”

作者簡介：趙紅菊，高級(jí)工程師，主要從事煤礦機(jī)器人智能控制、電源管理等相關(guān)研究工作。 E-mail：[email protected]

作者單位：中煤科工機(jī)器人科技有限公司；中煤科工（遼寧）具身智能科技有限公司

引用格式：趙紅菊.低照度模糊環(huán)境下輸送帶巡檢機(jī)器人目標(biāo)識(shí)別關(guān)鍵技術(shù)[J].智能礦山，2025，6(11)：65-70.

點(diǎn)擊文末左下角閱讀原文，免費(fèi)下載閱讀pdf全文

關(guān)注微信公眾號(hào)，了解更多礦山智能化建設(shè)進(jìn)展

視覺識(shí)別是煤礦智能化無人巡檢系統(tǒng)的核心功能之一，直接影響著巡檢結(jié)果的可靠性和有效性。由于煤礦井下環(huán)境復(fù)雜多變，存在圖像質(zhì)量低、目標(biāo)對(duì)象多樣、目標(biāo)尺度小和目標(biāo)遮擋嚴(yán)重等問題，給視覺識(shí)別帶來了很大的困難和挑戰(zhàn)。

煤礦巡檢圖像數(shù)據(jù)集（CMID）的構(gòu)建

為了支持算法研究內(nèi)容，構(gòu)建了大規(guī)模的煤礦巡檢圖像數(shù)據(jù)集（CMID），并詳細(xì)標(biāo)注數(shù)據(jù)集。該數(shù)據(jù)集基于煤礦井下帶式輸送機(jī)輸送場景，包含輸送帶裂縫、輸送帶跑偏、輸送帶異物、托輥脫落、煤料堵塞、煤粉灑落、煤流量等7種目標(biāo)對(duì)象，具有一定的多樣性和復(fù)雜性。

1.1 數(shù)據(jù)集的采集過程和設(shè)備

圖像采集是用機(jī)器人系統(tǒng)拍攝井下圖像數(shù)據(jù)。該系統(tǒng)包括地面控制中心、無線通信系統(tǒng)、井下掛軌機(jī)器人。井下機(jī)器人的高清攝像頭和紅外攝像頭，高清攝像頭分辨率為1 920×1 080，拍攝彩色圖像；紅外攝像頭分辨率為640×480，拍攝低光照灰度圖像。機(jī)器人系統(tǒng)的組織架構(gòu)及地面控制中心GUI界面如圖1所示。

圖1 機(jī)器人系統(tǒng)的組織架構(gòu)及地面控制中心GUI界面

在煤礦井下帶式輸送機(jī)場景采集圖像，采集過程覆蓋了不同光照條件、背景雜亂程度、目標(biāo)對(duì)象數(shù)量和類型等因素，共采集了約10萬張圖像，約占100 GB存儲(chǔ)空間。

1.2 數(shù)據(jù)集標(biāo)注

研究使用LabelImg作為圖像標(biāo)注軟件，邀請(qǐng)了10名具有煤礦巡檢經(jīng)驗(yàn)的專業(yè)人員作為標(biāo)注人員，標(biāo)注了數(shù)據(jù)集中的每張圖像。將輸送帶巡檢視覺識(shí)別任務(wù)分為輸送帶裂縫、輸送帶跑偏、輸送帶異物、托輥脫落、煤料堵塞、煤粉灑落、煤流量7個(gè)任務(wù)類型。

研究使用XML格式存儲(chǔ)了圖像標(biāo)注信息。部分采集數(shù)據(jù)集如圖2所示。為保證數(shù)據(jù)集的標(biāo)注質(zhì)量準(zhǔn)確率>95%，采用以下3項(xiàng)措施。

圖2 部分采集數(shù)據(jù)集

（1）專業(yè)培訓(xùn)和指導(dǎo)標(biāo)注人員。

（2）分批分配和交叉檢查數(shù)據(jù)集。

（3）隨機(jī)抽樣和質(zhì)量評(píng)估數(shù)據(jù)集。

基于深度學(xué)習(xí)的煤礦巡檢圖像識(shí)別方法

為實(shí)現(xiàn)高性能的煤礦巡檢圖像識(shí)別，提出了1種基于深度學(xué)習(xí)的目標(biāo)智能檢測算法，該算法主要包括以下3個(gè)方面。

（1）使用YOLOv5模型作為基礎(chǔ)網(wǎng)絡(luò)。

（2）改進(jìn)和優(yōu)化YOLOv5模型，包括引入Res2Net多尺度特征表征模塊、引入CA注意力機(jī)制、優(yōu)化輸出層等。

（3）使用CMID數(shù)據(jù)集對(duì)模型進(jìn)行端到端訓(xùn)練。

2.1 YOLOv5模型

YOLOv5是1種目標(biāo)檢測網(wǎng)絡(luò)，使用1個(gè)全卷積神經(jīng)網(wǎng)絡(luò)（FCN）從輸入圖像中直接預(yù)測目標(biāo)的類別和位置。YOLOv5模型使用CSPNet作為主干網(wǎng)絡(luò)，使用PANet作為特征融合網(wǎng)絡(luò)。YOLOv5模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 YOLOv5模型的網(wǎng)絡(luò)結(jié)構(gòu)

2.2 引入Res2Net多尺度特征表征模塊

Res2Net多尺度特征表征模塊是1種基于ResNet殘差網(wǎng)絡(luò)的改進(jìn)模塊。Res2Net模塊的核心思想是將每個(gè)殘差塊中的輸入特征分為多個(gè)子特征，并對(duì)每個(gè)子特征進(jìn)行不同尺度的卷積操作，然后將所有子特征進(jìn)行拼接，形成輸出特征，Res2Net模塊如圖4所示。

圖4 Res2Net模塊

Res2Net模塊中的1個(gè)殘差塊包括2個(gè)部分：分支部分和融合部分。分支部分是指將輸入特征分為個(gè)子特征，并對(duì)每個(gè)子特征進(jìn)行1×1卷積和3×3卷積操作，形成個(gè)不同尺度的子特征；融合部分是指將個(gè)子特征進(jìn)行逐級(jí)拼接，并通過1×1卷積操作將通道數(shù)恢復(fù)為原來的一半，形成輸出特征。2個(gè)部分相互配合，實(shí)現(xiàn)了多尺度的特征表征。

將Res2Net模塊引入到Y(jié)OLOv5模型中，并用其替換主干網(wǎng)絡(luò)中C3 模塊的Bottleneck，以在網(wǎng)絡(luò)中增加感受野通道，使網(wǎng)絡(luò)更好地學(xué)習(xí)對(duì)小目標(biāo)缺陷區(qū)域的紋理和語義特征，設(shè)置=4。四尺度感受野結(jié)構(gòu)如圖5所示，引入Res2Net模塊后的主干網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

圖5 四尺度感受野結(jié)構(gòu)

圖6 引入Res2Net模塊后的主干網(wǎng)絡(luò)結(jié)構(gòu)

2.3 引入CA注意力機(jī)制

CA注意力機(jī)制是1種基于通道注意力的特征增強(qiáng)模塊，通過1個(gè)自適應(yīng)權(quán)重向量，對(duì)輸入特征圖的不同通道進(jìn)行加權(quán)，以提升特征圖的通道利用率和表達(dá)能力。

在獲取特征時(shí)，CA模塊捕獲跨通道特征信息以及方向感知和位置感知信息，并通過坐標(biāo)信息嵌入和坐標(biāo)信息生成對(duì)輸入特征進(jìn)行編碼。YOLOv5-CA機(jī)制結(jié)構(gòu)如圖7所示，模塊包含在圖7中的紅色虛線框中。

圖7 YOLOv5-CA機(jī)制結(jié)構(gòu)

利用H×1和1×W池化核分別沿水平和垂直坐標(biāo)對(duì)每個(gè)通道進(jìn)行編碼，得到H×1×C和1×W×C的特征圖。然后，融合不同方向特征，得到1個(gè)關(guān)注方向感知圖。

2.4 優(yōu)化輸出層

根據(jù)不同類別的目標(biāo)對(duì)象所需預(yù)測的額外信息類型和數(shù)量，對(duì)輸出層進(jìn)行了相應(yīng)調(diào)整。對(duì)輸送帶跑偏、裂縫、異物的3個(gè)類別的目標(biāo)對(duì)象增加了2個(gè)額外信息的回歸輸出，分別為目標(biāo)對(duì)象的長軸長度和短軸長度。優(yōu)化后的輸出層中不同類別的目標(biāo)對(duì)象所需預(yù)測的參數(shù)數(shù)量見表1。

表1 優(yōu)化后輸出層中不同類別的目標(biāo)對(duì)象所需預(yù)測的參數(shù)數(shù)量

優(yōu)化前后檢測效果對(duì)比見表2，優(yōu)化后的輸出層中不同類別的目標(biāo)對(duì)象所需預(yù)測的參數(shù)與原來不同，因此需要將預(yù)測層的輸出通道數(shù)由（+5）×修改為（，其中為不同類別的目標(biāo)對(duì)象所需預(yù)測的參數(shù)之和，即=42。根據(jù)不同類別的目標(biāo)對(duì)象在預(yù)測層中占據(jù)不同位置和數(shù)量的通道進(jìn)行區(qū)分和解析。通過此方式，將輸出層的輸出結(jié)果解析為

式中：Out為輸出結(jié)果；Class為類別置信度；case_goal為目標(biāo)框參數(shù)；case_extra為額外信息參數(shù)；為第個(gè)類別的置信度；x、y、w、h、c為目標(biāo)框的中心坐標(biāo)、寬度、高度和置信度；a、b為目標(biāo)對(duì)象的長軸長度和短軸長度；為輸送帶的寬度。

輸送帶跑偏距離撕裂長度和異物規(guī)格的計(jì)算公式為

式中：為圖像寬度，作為檢測結(jié)果的一部分輸出，以提高檢測結(jié)果的可用性和可解釋性。

2.5 模型訓(xùn)練

使用PyTorch框架實(shí)現(xiàn)了提出的方法，并在1臺(tái)配備了NVIDIA GeForce RTX 3090顯卡的計(jì)算機(jī)上進(jìn)行了模型訓(xùn)練。采用YOLOv5 Loss作為損失函數(shù)，計(jì)算公式為

式中：為第個(gè)類別的真實(shí)置信度；為第個(gè)類別的預(yù)測置信度；為第個(gè)目標(biāo)框參數(shù)的真實(shí)值；為第個(gè)目標(biāo)框參數(shù)的預(yù)測值；為目標(biāo)框的真實(shí)置信度；為目標(biāo)框的預(yù)測置信度；_clsboxobj為不同損失項(xiàng)的權(quán)重系數(shù)。設(shè)置_cls=1.0，_box=0.05和_obj=1.0。

采用Albumentations庫實(shí)現(xiàn)圖像增強(qiáng)，并使用sklearn庫實(shí)現(xiàn)了交叉驗(yàn)證技術(shù)。將數(shù)據(jù)集劃分為5個(gè)子集，并進(jìn)行5次訓(xùn)練和測試，以評(píng)估模型的泛化能力和穩(wěn)定性。

試驗(yàn)結(jié)果與分析

3.1 試驗(yàn)環(huán)境和評(píng)價(jià)指標(biāo)

為了評(píng)估研究提出的方法的性能和效果，使用CMID數(shù)據(jù)集對(duì)研究所采用的方法進(jìn)行了試驗(yàn)，并與YOLOv5模型進(jìn)行對(duì)比。采用以下指標(biāo)來衡量模型的檢測效果。

（1）精確率（Precision）為檢測結(jié)果中正確的目標(biāo)對(duì)象占所有檢測出的目標(biāo)對(duì)象的比例，計(jì)算公式為，其中TP為真正例，即檢測結(jié)果中正確的目標(biāo)對(duì)象，F(xiàn)P為假正例，即檢測結(jié)果中錯(cuò)誤的目標(biāo)對(duì)象。

（2）召回率（Recall）為檢測結(jié)果中正確的目標(biāo)對(duì)象占所有真實(shí)存在的目標(biāo)對(duì)象的比例，計(jì)算公式為，其中FN為假負(fù)例，即未被檢測出的目標(biāo)對(duì)象。

（3）準(zhǔn)確率（Accuracy）為檢測結(jié)果中正確的目標(biāo)對(duì)象占所有檢測結(jié)果和真實(shí)結(jié)果的并集的比例，計(jì)算公式為

（4）Score）為精確率和召回率的調(diào)和平均值，計(jì)算公式為

使用交叉驗(yàn)證技術(shù)，將數(shù)據(jù)集劃分為5個(gè)子集，并進(jìn)行5次訓(xùn)練和測試，以評(píng)估模型的泛化能力和穩(wěn)定性。使用[email protected]作為模型的綜合評(píng)價(jià)指標(biāo)，該指標(biāo)表示在不同類別上計(jì)算出的平均精確率（AP），其中交并比（IoU）閾值設(shè)為0.5。

3.2 試驗(yàn)結(jié)果和對(duì)比分析

在煤礦井下進(jìn)行現(xiàn)場試驗(yàn)，驗(yàn)證改進(jìn)后算法的有效性和可靠性。經(jīng)現(xiàn)場試驗(yàn)驗(yàn)證，使用訓(xùn)練后的模型對(duì)輸送帶跑偏距離≥10 cm的檢測準(zhǔn)確率≥95%，對(duì)縱撕長度≥10 cm的檢測準(zhǔn)確率為80%～95%，對(duì)異物檢測異物規(guī)格>80 mm的檢測準(zhǔn)確率為80%～95%，托輥異常檢測準(zhǔn)確率為96%。相比優(yōu)化改進(jìn)之前，加權(quán)檢測準(zhǔn)確度從83%提高到了95%。采用改進(jìn)后的模型對(duì)輸送帶異物進(jìn)行目標(biāo)檢測如圖8所示。

圖8 采用改進(jìn)后的模型對(duì)輸送帶異物進(jìn)行目標(biāo)檢測

表2表明，研究提出的方法在所有類別上都優(yōu)于YOLOv5模型，且平均提升了6%；提高了煤礦巡檢圖像識(shí)別任務(wù)的檢測效果，尤其是對(duì)于小目標(biāo)缺陷區(qū)域的檢測能力。

表2 優(yōu)化前后檢測效果對(duì)比

總 結(jié)

（1）為解決煤礦井下低照度模糊環(huán)境下輸送帶巡檢目標(biāo)識(shí)別的關(guān)鍵問題，構(gòu)建了大規(guī)模煤礦巡檢圖像數(shù)據(jù)集（CMID）并優(yōu)化了深度學(xué)習(xí)模型。相比優(yōu)化改進(jìn)前，輸送帶跑偏距離、縱撕長度等指標(biāo)的加權(quán)檢測準(zhǔn)確度從83%提高到了95%，解決了現(xiàn)有井下巡檢系統(tǒng)中低照度目標(biāo)識(shí)別精度低的問題；針對(duì)井下輸送帶不同故障類型優(yōu)化了輸出層結(jié)構(gòu)，增加了對(duì)目標(biāo)對(duì)象長軸長度和短軸長度等額外信息的回歸輸出，確保了模型輸出結(jié)果的可解釋性。

（2）識(shí)低照度模糊環(huán)境下識(shí)別方法解決了煤礦井下圖像質(zhì)量低、目標(biāo)尺度小、遮擋嚴(yán)重等問題帶來的識(shí)別精度難題，提高了輸送帶故障檢測的準(zhǔn)確性和可靠性，為帶式輸送機(jī)故障預(yù)警系統(tǒng)的工程化設(shè)計(jì)提供了核心技術(shù)依據(jù)，對(duì)傳統(tǒng)井工礦煤流運(yùn)輸系統(tǒng)的改造升級(jí)具備實(shí)踐參考價(jià)值。

（3）未來研究可通過多傳感器數(shù)據(jù)融合、數(shù)據(jù)集擴(kuò)增、邊緣計(jì)算模型輕量化、巡檢機(jī)器人設(shè)備聯(lián)動(dòng)等手段，從多角度提高識(shí)別檢測方法的泛用性和實(shí)用性，推動(dòng)形成井下綜合故障預(yù)警系統(tǒng)的建設(shè)范式。

編輯丨李莎

審核丨趙瑞

煤炭科學(xué)研究總院期刊出版公司擁有科技期刊21種。其中，SCI收錄1種，Ei收錄5種、CSCD收錄6種、Scopus收錄8種、中文核心期刊9種、中國科技核心期刊11種、中國科技期刊卓越行動(dòng)計(jì)劃入選期刊4種，是煤炭行業(yè)最重要的科技窗口與學(xué)術(shù)交流陣地，也是行業(yè)最大最權(quán)威的期刊集群。

期刊簡介

《智能礦山》（月刊，CN 10-1709/TN，ISSN 2096-9139）是由中國煤炭科工集團(tuán)有限公司主管、煤炭科學(xué)研究總院有限公司主辦的聚焦礦山智能化領(lǐng)域產(chǎn)學(xué)研用新進(jìn)展的綜合性技術(shù)刊物。

主編：王國法院士

刊載欄目：企業(yè)/團(tuán)隊(duì)/人物專訪政策解讀視角·觀點(diǎn)智能示范礦井對(duì)話革新·改造學(xué)術(shù)園地、專題報(bào)道等。

投稿網(wǎng)址：www.chinamai.org.cn（期刊中心-作者投稿）

?? 征稿函詳見鏈接： 征稿┃《智能礦山》面向廣大讀者征稿，歡迎投稿

期刊成果：創(chuàng)刊5年來，策劃出版了“中國煤科煤礦智能化成果”“陜煤集團(tuán)智能化建設(shè)成果”“聚焦煤炭工業(yè)‘十四五’高質(zhì)量發(fā)展”等特刊/專題30多期。主辦“煤礦智能化重大進(jìn)展發(fā)布會(huì)”“煤炭清潔高效利用先進(jìn)成果發(fā)布會(huì)”“《智能礦山》理事、特約編輯年會(huì)暨智能化建設(shè)論壇”“智能礦山零距離”“礦山智能化建設(shè)運(yùn)維與技術(shù)創(chuàng)新高新研修班”等活動(dòng)20余次。組建了理事會(huì)、特約編輯團(tuán)隊(duì)、卓越人物等千余人產(chǎn)學(xué)研用高端協(xié)同辦刊團(tuán)隊(duì)，打造了“刊-網(wǎng)-號(hào)-群-庫”全覆蓋的1+N全媒體傳播平臺(tái)，全方位發(fā)布礦山智能化領(lǐng)域新技術(shù)、新產(chǎn)品、新經(jīng)驗(yàn)。

?? 具體詳見鏈接：《智能礦山》創(chuàng)刊5周年回顧

聯(lián)系人：李編輯 010-87986441

郵發(fā)代號(hào)：82-476

?? 期刊訂閱詳見鏈接：歡迎訂閱┃《智能礦山》雜志2026年訂閱開始了！

往期薦讀

• 重磅通知┃關(guān)于召開煤炭無人化開采數(shù)智技術(shù)研討暨重大進(jìn)展發(fā)布會(huì)的通知(2026年1月9—11日北京)

• 行業(yè)聚焦┃2025年礦山智能化建設(shè)運(yùn)維與技術(shù)創(chuàng)新高級(jí)研修班成功在威海舉辦

• 行業(yè)聚焦┃2025智慧礦山技術(shù)創(chuàng)新與產(chǎn)業(yè)發(fā)展論壇（新疆）成功召開

• 行業(yè)聚焦┃2024年煤炭清潔高效利用智能化成果發(fā)布暨選煤廠智能化建設(shè)論壇順利召開

• 征稿┃《智能礦山》面向廣大讀者征稿，歡迎投稿

• 歡迎訂閱┃《智能礦山》雜志2026年訂閱開始了！

• 行業(yè)聚焦┃2024年煤礦智能化重大進(jìn)展發(fā)布會(huì)成功召開

• 《智能礦山》創(chuàng)刊5周年回顧

• 王國法院士煤礦智能化觀點(diǎn)集錦

• 新書訂閱 ┃《中國煤礦智能化發(fā)展報(bào)告（2024年）》（王國法，劉峰 主編）

• 訂閱┃探秘太陽石的奧秘 呈現(xiàn)煤的真身：太陽石系列科普叢書重磅發(fā)售

往期特刊

中國煤科特刊

陜煤集團(tuán)特刊

神東專欄

重大進(jìn)展特刊

露天礦特刊

理事單位特刊

紅柳林煤礦特刊

創(chuàng)新技術(shù)特刊

創(chuàng)刊號(hào)

版權(quán)聲明

本刊對(duì)已出版文章持有電子版、網(wǎng)絡(luò)版及進(jìn)行網(wǎng)絡(luò)技術(shù)交流和與各網(wǎng)絡(luò)數(shù)據(jù)庫合作的權(quán)利，稿酬一次性付清，版權(quán)歸本刊與作者共同所有，如不同意，請(qǐng)?jiān)谕陡鍟r(shí)聲明。

---

聲明：本文系轉(zhuǎn)載自互聯(lián)網(wǎng)，請(qǐng)讀者僅作參考，并自行核實(shí)相關(guān)內(nèi)容。若對(duì)該稿件內(nèi)容有任何疑問或質(zhì)疑，請(qǐng)立即與鐵甲網(wǎng)聯(lián)系，本網(wǎng)將迅速給您回應(yīng)并做處理，再次感謝您的閱讀與關(guān)注。