1.2 項(xiàng)目指標(biāo)
序號(hào) | 項(xiàng)目要求 | 指標(biāo) |
1 | 恒溫箱溫度調(diào)節(jié)范圍 | -40℃~70℃ |
2 | 恒溫箱尺寸規(guī)格 | 76*76*76 cm 102*67*86 cm 102*100*97 cm |
3 | 恒溫箱溫度控制精度 | ±0.5℃ |
4 | 機(jī)械手運(yùn)動(dòng)精度 | 0.2 mm |
5 | 機(jī)械手運(yùn)動(dòng)范圍 | 80*80*80 cm |
6 | 圖像處理設(shè)備拍攝速度 | 50~10萬(wàn)幀/秒 |
7 | 圖像信號(hào)質(zhì)量檢測(cè) | 響應(yīng)圖形失真、飽和度等圖像信號(hào)質(zhì)量檢測(cè)要 求 |
2項(xiàng)目實(shí)施方案
2.1 總體方案
本項(xiàng)目針對(duì)顯示器性能的自動(dòng)測(cè)試問(wèn)題,開(kāi)發(fā)基于機(jī)器視覺(jué)的顯示屏自動(dòng)化測(cè)試系統(tǒng),系統(tǒng)總體方案如圖1所示。分別從機(jī)器臂開(kāi)發(fā)和控制模塊、機(jī)器視覺(jué)模塊、系統(tǒng)集成開(kāi)發(fā)三個(gè)方面展開(kāi),研究的主要內(nèi)容包括以下幾個(gè)方面:
(1)結(jié)合硬件平臺(tái)和軟件系統(tǒng)的設(shè)計(jì),完成直角坐標(biāo)運(yùn)動(dòng)機(jī)械手的總體方案設(shè)計(jì);通過(guò)多自由度運(yùn)動(dòng)控制技術(shù),搭建伺服控制系統(tǒng),完成軟件調(diào)試和人機(jī)操作界面設(shè)計(jì),實(shí)現(xiàn)直角坐標(biāo)運(yùn)動(dòng)機(jī)械手的創(chuàng)成設(shè)計(jì)和調(diào)試。
(2)采用圖像采集和處理技術(shù),通過(guò)相機(jī)標(biāo)定、圖像增強(qiáng)、去噪、和邊緣提取等處理,基于OpenCV和QT應(yīng)用程序開(kāi)發(fā)框架,獲取并傳輸顯示器運(yùn)行狀態(tài)信息,開(kāi)發(fā)基于機(jī)器視覺(jué)的顯示器運(yùn)行狀態(tài)監(jiān)測(cè)模塊。
(3)采用功能模塊設(shè)計(jì)及集成技術(shù),完成直角坐標(biāo)機(jī)械手運(yùn)動(dòng)控制系統(tǒng)和圖像處理設(shè)備的通訊和功能匹配設(shè)計(jì),實(shí)現(xiàn)基于機(jī)器視覺(jué)的顯示器運(yùn)行狀態(tài)的自動(dòng)化測(cè)試。
圖1 基于機(jī)器視覺(jué)的顯示屏自動(dòng)化測(cè)試系統(tǒng)
2.2具體實(shí)施方案
本項(xiàng)目開(kāi)展基于機(jī)器視覺(jué)的顯示屏自動(dòng)化測(cè)試關(guān)鍵技術(shù)的研究,顯示屏放置于恒溫箱之后,通過(guò)專(zhuān)用夾具固定,當(dāng)機(jī)械手代替人手進(jìn)行顯示屏的操作后,需要采用機(jī)器視覺(jué)進(jìn)行顯示屏運(yùn)行狀況的監(jiān)測(cè)和信息的閉環(huán)反饋,并且建立顯示屏的故障信息數(shù)據(jù)庫(kù)。具體實(shí)施方案將從機(jī)器臂開(kāi)發(fā)和控制模塊、機(jī)器視覺(jué)模塊、系統(tǒng)集成開(kāi)發(fā)三個(gè)方面展開(kāi)。
2.2.1機(jī)器視覺(jué)檢測(cè)模塊開(kāi)發(fā)
機(jī)器視覺(jué)就是用機(jī)器代替人眼來(lái)做測(cè)量和判斷。機(jī)器視覺(jué)系統(tǒng)是通過(guò)機(jī)器視覺(jué)產(chǎn)品(即圖像攝取裝置,分CMOS和CCD兩種)將被攝取目標(biāo)轉(zhuǎn)換成圖像信號(hào),傳送給專(zhuān)用的圖像處理系統(tǒng),得到被攝目標(biāo)的形態(tài)信息,根據(jù)像素分布和亮度、顏色等信息,轉(zhuǎn)變成數(shù)字化信號(hào);圖像系統(tǒng)對(duì)這些信號(hào)進(jìn)行各種運(yùn)算來(lái)抽取目標(biāo)的特征,進(jìn)而根據(jù)判別的結(jié)果來(lái)控制現(xiàn)場(chǎng)的設(shè)備動(dòng)作。
(1)顯示器運(yùn)行狀況圖像信號(hào)采集
對(duì)顯示屏的運(yùn)行狀況進(jìn)行機(jī)器視覺(jué)檢測(cè),采用CCD檢測(cè),測(cè)量原理框圖如圖3所示。利用透鏡將顯示屏圖像端面成像到CCD上(如圖2所示)。CCD及其驅(qū)動(dòng)電路將采集的信號(hào)依次輸出,再經(jīng)過(guò)模數(shù)轉(zhuǎn)換,得到數(shù)據(jù)經(jīng)計(jì)算機(jī)處理,通過(guò)圖像處理和識(shí)別,將圖像端面成像然后反饋給計(jì)算機(jī)控制系統(tǒng),為顯示屏的運(yùn)行狀況分析提供依據(jù)。
圖3 機(jī)器視覺(jué)檢測(cè)原理圖
圖4 視覺(jué)傳感測(cè)量系統(tǒng)示意圖
(2)顯示器運(yùn)行狀況圖像處理
用CCD得到后的圖像需要進(jìn)行圖像處理和識(shí)別,以便得到準(zhǔn)確清晰的顯示屏運(yùn)行狀況圖像。首先通過(guò)CCD及其驅(qū)動(dòng)電路將各點(diǎn)的圖像型號(hào)轉(zhuǎn)換成電信號(hào),然后經(jīng)過(guò)程序處理,對(duì)圖像進(jìn)行增強(qiáng)、灰度化處理、噪聲去除、閾值分割、圖像邊緣提取等處理,從而提高檢測(cè)準(zhǔn)確性和精度,最后將采集到的圖像進(jìn)行分類(lèi)統(tǒng)計(jì),建立顯示屏的故障檢測(cè)數(shù)據(jù)庫(kù)。相機(jī)標(biāo)定和圖像二值化處理如圖5和圖6所示。
圖5 相機(jī)標(biāo)定
圖6 圖像二值化處理
2.2.2直角坐標(biāo)運(yùn)動(dòng)機(jī)械手控制模塊開(kāi)發(fā)
采用機(jī)械手代替人手進(jìn)行顯示屏的自動(dòng)化測(cè)試,需要同時(shí)進(jìn)行直角坐標(biāo)運(yùn)動(dòng)的機(jī)械手運(yùn)動(dòng)控制和視覺(jué)伺服系統(tǒng)控制,操作人員通過(guò)人機(jī)交互界面將操作指令發(fā)送給控制系統(tǒng),運(yùn)動(dòng)控制卡采用轉(zhuǎn)矩模式,并將數(shù)字量信息轉(zhuǎn)化為脈沖輸出,控制直角坐標(biāo)運(yùn)動(dòng)的機(jī)械手完成運(yùn)動(dòng)并進(jìn)行相應(yīng)操作。編碼器和傳感器檢測(cè)系統(tǒng)完成位置和力矩檢測(cè),并進(jìn)行控制系統(tǒng)與檢測(cè)系統(tǒng)的信號(hào)傳輸和數(shù)據(jù)交換,完成控制系統(tǒng)模塊和機(jī)械手系統(tǒng)的設(shè)計(jì)開(kāi)發(fā),保證運(yùn)動(dòng)精度和顯示屏測(cè)試效率。
圖7 直角坐標(biāo)運(yùn)動(dòng)的機(jī)械手運(yùn)動(dòng)控制方案
將所設(shè)計(jì)的直角坐標(biāo)運(yùn)動(dòng)的機(jī)械手與傳統(tǒng)多軸聯(lián)動(dòng)機(jī)械手進(jìn)行運(yùn)動(dòng)控制方案的對(duì)比分析,控制方案如圖7所示。直角坐標(biāo)運(yùn)動(dòng)的機(jī)械手控制模塊主要用于控制機(jī)械手代替人手進(jìn)行顯示屏的測(cè)試,檢測(cè)系統(tǒng)完成位置和力矩檢測(cè)以及不同系統(tǒng)間的數(shù)據(jù)交換。
(1)運(yùn)動(dòng)系統(tǒng)控制
控制機(jī)械手進(jìn)行三自由度運(yùn)動(dòng)并代替人手進(jìn)行顯示屏的測(cè)試。根據(jù)檢測(cè)系統(tǒng)檢測(cè)到的位置和力矩信息,控制系統(tǒng)控制機(jī)械手進(jìn)行空間三自由度方向上的運(yùn)動(dòng),并代替人手完成顯示屏的觸摸、點(diǎn)擊等動(dòng)作。
圖8 驅(qū)動(dòng)系統(tǒng)集成示意圖
(2)檢測(cè)系統(tǒng)控制
檢測(cè)系統(tǒng)用于對(duì)機(jī)械手運(yùn)動(dòng)位置、力矩進(jìn)行檢測(cè)。對(duì)檢測(cè)系統(tǒng)的控制包括三自由度直角坐標(biāo)機(jī)械手的運(yùn)動(dòng)位置檢測(cè),執(zhí)行器末端接觸顯示屏的力矩大小檢測(cè),以及運(yùn)動(dòng)的速度,距離等運(yùn)動(dòng)參數(shù)。
(3)數(shù)據(jù)交換
檢測(cè)系統(tǒng)由執(zhí)行機(jī)構(gòu)末端的傳感器和編碼器等元器件構(gòu)成,將傳感器測(cè)得的模擬量信號(hào)傳遞到控制模塊,控制模塊將反饋信號(hào)通過(guò)一定的轉(zhuǎn)化關(guān)系,進(jìn)行機(jī)械手的運(yùn)動(dòng)控制。
(4)人機(jī)交互
通過(guò)人機(jī)交互界面進(jìn)行機(jī)械手的運(yùn)動(dòng)控制,編寫(xiě)自動(dòng)化運(yùn)動(dòng)系統(tǒng)軟件,操作者選擇對(duì)應(yīng)的菜單獲取想要的數(shù)據(jù)或?qū)崿F(xiàn)期望的功能來(lái)實(shí)現(xiàn)人機(jī)交互。該軟件系統(tǒng)可以實(shí)現(xiàn)顯示機(jī)械手多自由度的運(yùn)動(dòng)控制,位置和力矩模式切換,位置、力矩信號(hào)閉環(huán)反饋,和顯示屏故障信息的存儲(chǔ)等功能。軟件數(shù)據(jù)開(kāi)發(fā)基于Windows7操作系統(tǒng),開(kāi)發(fā)語(yǔ)言環(huán)境選擇C++,數(shù)據(jù)庫(kù)選擇Oracle數(shù)據(jù)庫(kù)。電機(jī)控制的人機(jī)交互界面如圖8所示。
圖8 電機(jī)控制人機(jī)交互界面
2.2.3自動(dòng)化測(cè)試系統(tǒng)集成開(kāi)發(fā)
基于機(jī)器視覺(jué)的顯示屏自動(dòng)化測(cè)試系統(tǒng)發(fā)揮作用需要各功能單元協(xié)調(diào)配合,共同完成顯示屏測(cè)試的自動(dòng)化測(cè)試作業(yè)。研究使自動(dòng)化測(cè)試系統(tǒng)各單元功能的集成載體,設(shè)計(jì)有效運(yùn)行的運(yùn)動(dòng)執(zhí)行本體,實(shí)現(xiàn)顯示屏運(yùn)行狀況檢測(cè)、機(jī)械手代替人手操作顯示屏等控制的一體化集成,保證自動(dòng)化測(cè)試工藝流程協(xié)調(diào)高效的運(yùn)行。整個(gè)自動(dòng)化測(cè)試系統(tǒng)由三大模塊:機(jī)器視覺(jué)模塊,機(jī)械臂自動(dòng)化控制模塊,和檢測(cè)模塊的集成構(gòu)成,整體集成方案和模塊間通訊方案如圖9和圖10所示。
圖9 基于機(jī)器視覺(jué)的顯示屏自動(dòng)化測(cè)試系統(tǒng)集成方案
整個(gè)自動(dòng)化測(cè)試系統(tǒng)采用現(xiàn)場(chǎng)總線(xiàn)進(jìn)行通訊。通過(guò)基于PC平臺(tái)和Windows操作系統(tǒng)的控制軟件,在工控機(jī)內(nèi)構(gòu)件一個(gè)具有 NC功能的實(shí)時(shí)系統(tǒng),通過(guò)PLC的邏輯運(yùn)算,并利用PC機(jī)標(biāo)準(zhǔn)配置的硬件,實(shí)現(xiàn)邏輯運(yùn)算(TwinCAT PLC)功能、運(yùn)動(dòng)控制(TwinCAT NC)功能、浮點(diǎn)運(yùn)算、和存儲(chǔ)和處理大量數(shù)據(jù)的功能。PLC程序先將信號(hào)發(fā)送給NC軸,NC經(jīng)過(guò)軌跡規(guī)劃,PID 運(yùn)算和 IO 接口處理輸出給驅(qū)動(dòng)器來(lái)實(shí)現(xiàn)對(duì)電機(jī)的控制,同時(shí)電機(jī)的狀態(tài)通過(guò)NC及時(shí)地反饋給PLC程序。在整個(gè)CNC系統(tǒng)中,各個(gè)軟件模塊(如PLC程序、NC、Windows 應(yīng)用程序等)的工作模式類(lèi)似于硬件設(shè)備,它們能夠獨(dú)立工作。各個(gè)軟件模塊之間的信息交換通過(guò)運(yùn)動(dòng)控制器ADS而完成,整個(gè)控制系統(tǒng)模塊通訊的集成構(gòu)架如圖10所示。
圖10 自動(dòng)化測(cè)試系統(tǒng)模塊通訊方案