Kaip binokulinės regėjimo sistemos įgalina autonominius dronus: pažanga, taikymas ir techniniai įžvalgos naujos kartos oro intelektui

• Įvadas į binokulinį regėjimą autonominiuose dronuose
• Pagrindiniai binokulinių regėjimo sistemų principai
• Programinės ir techninės įrangos komponentai ir jutiklių integracija
• Gilumos suvokimas ir 3D žemėlapių sudarymo galimybės
• Realaus laiko kliūčių nustatymas ir vengimas
• Navigacijos ir maršruto planavimo tobulinimai
• Įgyvendinimo ir kalibravimo iššūkiai
• Lygiagretus analizė: binokulinė vs. monokulinė rega
• Taikymas įvairiose pramonės šakose
• Būsimos tendencijos ir tyrimų kryptys
• Šaltiniai ir nuorodos

Įvadas į binokulinį regėjimą autonominiuose dronuose

Binokulinės regėjimo sistemos, įkvėptos žmogaus regos aparato, naudoja dvi erdviškai atskirtas kameras, kad užfiksuotų sinchronizuotas nuotraukas, leidžiančias suvokti gylį per stereoskopinę analizę. Autonominių dronų kontekste šios sistemos yra svarbios realiu laiku trimatės (3D) scenos supratimui, kliūčių vengimui ir tiksliai navigacijai. Skirtingai nuo monokulinio regėjimo, kuris remiasi vienintele kamera ir dažnai susiduria su gylio įvertinimo sudėtingumais, binokulinė rega pasinaudoja kairės ir dešinės kameros vaizdų skirtumais, kad apskaičiuotų tikslius atstumo matavimus, procesas vadinamas stereo atitikimu. Ši galimybė yra labai svarbi dronams, veikiančiais dinamiškose ar užpildytose aplinkose, kur greitas ir patikimas gylio suvokimas tiesiogiai veikia skrydžio saugumą ir misijos sėkmę.

Pastarųjų metų pažanga integruotoje apdorojimo technologijoje ir lengvose kamerų moduliuose leido integruoti binokulines regėjimo sistemas į kompaktiškus dronų platformas, neatliekant reikšmingų kompromisų dėl naštos ar energijos suvartojimo. Šios sistemos vis dažniau derinamos su pažangiais algoritmais, tokiais kaip gilaus mokymosi pagrindu sukurta stereo korespondencija ir tuo pačiu metu lokalizacija ir žemėlapių sudarymas (SLAM), kad padidintų patikimumą ir prisitaikomumą įvairiose operacinėse situacijose. Pavyzdžiui, dronai, aprūpinti binokuline rega, gali autonomiškai naršyti miškuose, miesto kanjonuose arba patalpose, kur GPS signalai gali būti nepatikimi arba trūksta.

Binokulinės regos autonominiuose dronuose naudojimą palaiko nuolatiniai tyrimai ir plėtra iš pirmaujančių organizacijų ir akademinių institucijų, įskaitant DJI ir Mičigano technologijos institutą (MIT). Kadangi ši technologija brandinasi, tikimasi, kad ji turės centrinę reikšmę galint autonominiams oro sistemoms vykdyti sudėtingas, realaus pasaulio užduotis.

Pagrindiniai binokulinių regėjimo sistemų principai

Binokulinės regėjimo sistemos autonominiuose dronuose remiasi biologiniu stereopsijos principu, kai dvi erdviškai atskirtos kameros (analoginės akims) užfiksuoja tuo pačiu metu nuotraukas iš šiek tiek skirtingų perspektyvų. Pagrindinis šių sistemų principas yra gylio informacijos išgavimas per dispariteto skaičiavimą — atitinkamų bruožų pozicijų skirtumą kairėje ir dešinėje nuotraukose. Analizuodamos šiuos skirtumus, sistema gali rekonstruoti tankų trimatį aplinkos žemėlapį, kuris yra labai svarbus tokioms užduotims kaip kliūčių vengimas, navigacija ir objektų atpažinimas.

Pagrindinis aspektas už binokulinės regos yra tikslus kamerų kalibravimas, užtikrinantis, kad kamerų santykinės padėtys ir orientacijos būtų žinomos ir stabili. Šis kalibravimas leidžia tiksliai trikampiuoti, kur gylis konkrečiame taške apskaičiuojamas pagal kameros konfigūracijos geometriją ir išmatuotą disparitetą. Pritaikomi algoritmai, tokie kaip blokų atitikimas ir pusiau globalus atitikimas, yra naudojami efektyviai rasti atitikmenis tarp nuotraukų porų, net ir sudėtingomis sąlygomis su silpnu tekstūravimu ar kintančiu apšvietimu.

Autonominių dronų kontekste realaus laiko stereo duomenų apdorojimas yra būtinas dėl greitų dinamikos ir poreikio skubiai reaguoti į aplinkos pokyčius. Tai reikalauja optimizuotų techninės ir programinės įrangos architektūrų, galinčių atlikti lygiagrečius procesus ir mažai uždelsti skaičiavimus. Be to, efektyvus triukšmo, uždengimų ir dinamiškų scenų valdymas yra kritinis, kad būtų išlaikytas patikimas gylio suvokimas skrendant. Binokulinės regos integracija su kitomis jutiklių modifikacijomis, tokiomis kaip inercinės matavimo sistemos, daugiau pagerina sistemos tikslumą ir atsparumą sudėtingose aplinkose IEEE, ScienceDirect.

Programinės ir techninės įrangos komponentai ir jutiklių integracija

Binokulinių regėjimo sistemų efektyvumas autonominiuose dronuose iš esmės priklauso nuo jų programinės ir techninės įrangos komponentų kokybės ir integracijos. Pagrindą sudaro dvi erdviškai atskirtos kameros, paprastai sinchronizuotos, kad užfiksuotų tuo pačiu metu nuotraukas iš šiek tiek skirtingų perspektyvų. Šios kameros dažnai yra didelės raiškos, mažo delsos moduliai, galintys dideliems kadrų greičiams užtikrinti tikslų gylio suvokimą ir realaus laiko apdorojimą. Atstumo tarp kamerų parametras yra kritiškai svarbus dizaino aspektas, nes jis tiesiogiai veikia sistemos gylio tikslumą ir operacinį atstumą. Trumpesni atstumai tinka artimo nuotolio navigacijai, o platesni atstumai pagerina gylio vertinimą didesniais atstumais Intel Corporation.

Jutiklių integracija nepabaigia tik stereo kameromis. Inercinės matavimo sistemos (IMU), GPS moduliai ir barometrai dažnai derinami su vizualiais duomenimis, kad pagerintų lokalizaciją, orientaciją ir stabilumą, ypač GPS-nepasiekiamose aplinkose. Pažangūs dronai taip pat gali integruoti papildomus jutiklius, tokius kaip LiDAR arba ultragarsiniai atstumo matuokliai, kad papildytų vizualinę informaciją, suteikdami atsarginę kopiją ir pagerindami kliūčių atpažinimą sudėtingose apšvietimo sąlygose DJI.

Integracijos procesas reikalauja tikslaus kalibravimo, kad būtų suderintos kameros ir sinchronizuoti jutiklių duomenų srautai. Dažnai naudojami programinės įrangos pagreitintuvai, tokie kaip integruoti GPU arba specializuoti vaizdo apdorojimo įrenginiai, kad būtų sprendžiami realaus laiko stereo atitikimo ir jutiklių sujungimo skaičiavimo reikalavimai. Ši glaudi programinės ir techninės įrangos integracija yra būtina, kad būtų užtikrintas patikimas binokulinis regėjimas, leidžiantis autonominiams dronams naršyti sudėtingomis aplinkybėmis su dideliu tikslumu NVIDIA.

Gilumos suvokimas ir 3D žemėlapių sudarymo galimybės

Gilumos suvokimas ir 3D žemėlapių sudarymas yra esminės galimybės, kurias leidžia binokulinės regėjimo sistemos autonominiuose dronuose. Naudojant dvi erdviškai atskirtas kameras, šios sistemos imituoja žmogaus stereopsiją, leidžiančią dronams tiksliai įvertinti atstumą iki objektų savo aplinkoje. Disparitetas tarp kiekvienos kameros užfiksuotų nuotraukų yra apdorojamas per stereo atitikimo algoritmus, generuojant tankius gylio žemėlapius, kurie informuoja realiu laiku apie navigaciją ir kliūčių vengimą. Šis požiūris ypač naudingas GPS-nepasiekiamose arba vizualiai sudėtingose aplinkose, kur tradiciniai jutikliai, tokie kaip LiDAR, gali būti mažiau efektyvūs arba pernelyg brangūs.

Pažangios binokulinės regos sistemos integruoja tuo pačiu metu lokalizaciją ir žemėlapių sudarymą (SLAM) technikas, leidžiančias dronams sudaryti detalius 3D modelius savo aplinkoje, tuo pačiu stebint savo poziciją toje erdvėje. Šie 3D žemėlapiai yra esminiai tokioms užduotims, kaip autonominė tyrinėjimas, infrastruktūros apžiūra ir precizinė žemės ūkio veikla, kur visuomet reikalingas aplinkos erdvinis išdėstymas. Pastarųjų metų gilaus mokymosi pažanga dar labiau padidino stereo gylio vertinimo patikimumą ir tikslumą, net ir sudėtingomis apšvietimo ar tekstūros sąlygomis NASA Ames Research Center.

Be to, binokulinės regos aparatūros lengvumas ir mažas energijos suvartojimas ją daro labai tinkamą mažiems dronams, kuriems naštos ir energijos ribojimai yra reikšmingi veiksniai. Artėjant kompiuterinių galimybių didėjimui, tikimasi, kad binokulinės regos sistemos ims vykdyti vis svarbesnę funkciją užtikrinant visiškai autonominius, konteksto suvokiančius dronų veiksmus Gynybos pažangių tyrimų projektų agentūra (DARPA).

Realaus laiko kliūčių nustatymas ir vengimas

Realaus laiko kliūčių nustatymas ir vengimas yra kritinė autonominių dronų funkcija, leidžianti saugiai naršyti dinamiškose ir nenuspėjamose aplinkose. Binokulinės regėjimo sistemos, kurios naudoja dvi erdviškai atskirtas kameras imituoti žmogaus stereoskopinę regą, atlieka svarbų vaidmenį šiame procese. Užfiksavus tuo pačiu metu nuotraukas iš šiek tiek skirtingų perspektyvų, šios sistemos generuoja gylio žemėlapius per stereo atitikimo algoritmus, leidžiančias dronams suvokti savo aplinkos trimatę struktūrą su dideliu tikslumu ir maža delsą.

Realaus laiko aspektą užtikrina efektyvios vaizdo apdorojimo grandinės ir techninė akceleracija, dažnai naudojant integruotus GPU arba specializuotus vaizdo apdorojimo įrenginius. Pažangūs algoritmai, tokie kaip pusiau globalus atitikimas ir gilaus mokymosi pagrindu sukurta dispariteto vertinimo technika, dar labiau didina gylio skaičiavimo greitį ir patikimumą. Tai leidžia dronams tiksliai nustatyti kliūtis, įskaitant mažus, mažo kontrasto arba greitai judančius objektus, realiu laiku, net ir sudėtingomis apšvietimo sąlygomis.

Kai kliūtys yra nustatomos, sistema integruoja gylio informaciją su skrydžio kontrolės algoritmais, kad dinamiškai pakoreguotų drono trajektoriją, užtikrindama avarijų vengimą. Šis uždarojo ciklo procesas yra būtinas tokioms programoms kaip paketų pristatymas, infrastruktūros apžiūra ir gelbėjimo misijos, kur aplinkos nenuspėjamumas yra didelis. Pastarųjų metų tyrimai ir komercinės įgyvendinimai, tokie kaip DJI ir Intel, demonstruoja binokulinės regos efektyvumą garantuojant dronų autonominį kliūčių vengimą realiose scenarijose.

Apskritai, binokulinės regėjimo sistemos užtikrina tikslumo, greičio ir kompiuterinės efektyvumo pusiausvyrą, todėl jos yra kertinė technologija realaus laiko kliūčių nustatymui ir vengimui autonominiuose dronuose.

Navigacijos ir maršruto planavimo tobulinimai

Binokulinės regėjimo sistemos reikšmingai patobulino navigacijos ir maršruto planavimo galimybes autonominiuose dronuose, suteikdamos realaus laiko, aukšto tikslumo gylio suvokimą. Skirtingai nuo monokulinių sistemų, binokuliniai sprendimai naudoja dvi erdviškai atskirtas kameras, kad sukurtų stereo nuotraukas, leidžiančias tiksliai rekonstruoti 3D aplinką. Ši gylio informacija yra labai svarbi kliūčių nustatymui, reljefo žemėlapių sudarymui ir dinamiško maršruto koregavimui, ypač sudėtingose ar užpildytose aplinkose, kur GPS signalai gali būti nepatikimi ar neturimi.

Naujausios pažangos naudoja stereo regą, kad patobulintų tuo pačiu metu lokalizacijos ir žemėlapių sudarymo (SLAM) algoritmus, leidžiančius dronams kurti ir atnaujinti detalius žemėlapius naršydami. Binokulinės regos integracija su pažangiais maršruto planavimo algoritmais leidžia dronams proaktyviai numatyti ir vengti kliūčių, o ne tik reaguoti į jas. Ši prognozuojanti galimybė yra būtina saugiam veikimui dinamiškose aplinkose, tokiose kaip miesto oro erdvės ar miškuose, kur kliūtys gali atsirasti netikėtai.

Be to, binokulinės regėjimo sistemos palengvina tvirtesnę vizualinę odometriją, gerindamos drono gebėjimą įvertinti savo padėtį ir orientaciją laikui bėgant. Tai ypač naudinga mažo aukščio skrydžiams ir patalpų navigacijai, kur tradiciniai navigacijos pagalbiniai įrenginiai yra riboti. Tikslaus gylio jutiklio ir realaus laiko apdorojimo derinys leidžia sklandesniam trajektorijos planavimui ir energiją taupančioms skrydžių maršrutams, kad dronai galėtų optimizuoti savo maršrutus pagal 3D struktūrą aplinkoje.

Nuolatiniai tyrimai yra skirti sumažinti stereo apdorojimo skaičiavimo apkrovą ir padidinti gylio vertinimo patikimumą, keičiantis apšvietimo ir oro sąlygoms, kaip pabrėžiama Gynybos pažangių tyrimų projektų agentūroje (DARPA) ir Nacionalinėje aeronautikos ir kosmoso administracijoje (NASA). Šie patobulinimai atveria kelią autonominiams, patikimiems ir įvairiapusiškiems dronų operacijoms.

Įgyvendinimo ir kalibravimo iššūkiai

Binokulinių regėjimo sistemų diegimas ir kalibravimas autonominiuose dronuose kelia įvairių techninių ir praktinių iššūkių. Vienas pagrindinių sunkumų kyla tiksliai sureguliuojant ir sinchronizuojant dvi kameras. Net menki iškraipymai gali sukelti reikšmingų gylio suvokimo klaidų, kurios yra kritinės užduotims, tokioms kaip kliūčių vengimas ir navigacija. Kalibravimo procesas turi atsižvelgti į vidinius parametrus (pavyzdžiui, objektyvo iškraipymą ir fokuso ilgį) ir išorinius parametrus (kamerų padėtis ir orientacija), tai dažnai reikalauja sudėtingų algoritmų ir kontroliuojamų aplinkų, kad būtų pasiektas didelis tikslumas IEEE Computer Vision Foundation.

Aplinkos veiksniai dar labiau sudėtinga kalibravimą. Šviesos pokyčiai, oro sąlygos ir atspindinčių ar bespalvių paviršių buvimas gali pabloginti stereo atitikimo kokybę, sukeldami nepatikimus gylio žemėlapius. Be to, dronai patiria vibracijas ir greitus judesius, kurie gali sukelti kamerų poslinkius, todėl būtina dažnai kalibruoti arba naudoti patikimas, realaus laiko savikalibravimo technikas IEEE Xplore.

Išteklių apribojimai dronuose, pavyzdžiui, ribota apdorojimo galia ir naštos talpa, taip pat riboja kalibravimo algoritmų sudėtingumą ir kamerų kokybę, kurios gali būti naudojamos. Tai dažnai priverčia atlikti kompromisą tarp sistemos tikslumo ir realaus laiko našumo. Sprendžiant šiuos iššūkius, reikia nuolatinių tyrimų į lengvas, adaptyvias kalibravimo metodikas ir plėtoti tvirtesnes technines ir programinės įrangos sprendimus, pritaikytus dinamiškoms aplinkoms, kuriose veikia autonominiai dronai MDPI Drones.

Lygiagretus analizė: binokulinė vs. monokulinė rega

Binokulinės ir monokulinės regėjimo sistemų lyginamasis analizė autonominiuose dronuose atskleidžia reikšmingus skirtumus gylio suvokime, skaičiavimo sudėtingume ir taikymo tinkamume. Binokulinės regės sistemos naudoja dvi erdviškai atskirtas kameras stereoskopinėms nuotraukoms fiksuoti, leidžiančias tiksliai vertinti gylį trinamosios metodikos pagalba. Ši galimybė yra svarbi tokioms užduotims kaip kliūčių vengimas, tuo pačiu metu lokalizacija ir žemėlapių sudarymas (SLAM) ir autonominė navigacija sudėtingose aplinkose. Priešingai, monokulinės regėjimo sistemos remiasi viena kamera, gylį nustatydamos remdamiesi judesio signalais, objektų dydžiu ar mašininio mokymosi modeliais, kas dažnai lemia mažiau tikslią ir patikimą gylio informaciją.

Binokulinės sistemos siūlo pranašesnę realaus laiko 3D scenos rekonstrukciją, leidžiančią dronams saugiau ir efektyviau naršyti užpildytose ar dinamiškose aplinkose. Tačiau šios sistemos paprastai reikalauja daugiau skaičiavimo išteklių ir atsargaus kalibravimo, kad būtų išlaikytas tikslumas, todėl potencialiai didėja drono svoris ir energijos suvartojimas. Monokulinės sistemos, nors ir lengvesnės bei mažiau energiją vartojančios, gali susidurti su sunkumais situacijose su neaiškiais vizualiniais signalais ar prastais apšvietimo sąlygomis, ribodamos jų efektyvumą kritinėse programose, tokiuose kaip paieškos ir gelbėjimo operacijos ar infrastruktūros patikra.

Naujausi pasiekimai integruotoje apdorojimo ir lengvų stereo kamerų moduliuose sumažino kai kurias tradicines binokulinių sistemų trūkumus, todėl jos tampa vis labiau tinkamos mažiems ir vidutiniams dronams. Organizacijų, tokių kaip Elektros ir elektronikos inžinierių institutas (IEEE) ir Atvirojo kodo robotikos fondas (OSRF), tyrimai pabrėžia, kad, nors monokulinės sistemos išlieka tinkamos pagrindinei navigacijai ir kainų jautriems taikymams, binokulinė rega greitai tampa standartinė aukštos tikslumo, autonominių dronų operacijoms.

Taikymas įvairiose pramonės šakose

Binokulinės regėjimo sistemos autonominiuose dronuose revolucionizuoja daugybę pramonės šakų, suteikdamos pažangias suvokimo, navigacijos ir sprendimų priėmimo galimybes. Žemės ūkyje šios sistemos palengvina tikslią pasėlių stebėseną ir derliaus vertinimą, generuodamos tikslius 3D žemėlapius laukams, leidžiančius orientuotis ir optimizuoti išteklius. Pavyzdžiui, dronai, aprūpinti binokuline rega, gali anksti nustatyti augalų sveikatos problemas ar kenkėjų užkratus, remiantys tvarias žemės ūkio praktikas (Jungtinių Tautų Maisto ir žemės ūkio organizacija).

Infrastruktūros patikroje binokulinė rega leidžia dronams autonomiškai naršyti sudėtingose aplinkose, tokiose kaip tiltai, elektros linijos ir vamzdynai. Stereo kamerų suteiktas gylio suvokimas suteikia galimybę nustatyti struktūrinius anomalijas ir kurti detalius 3D modelius, sumažinant rankinių patikrų poreikį ir didinant darbuotojų saugumą (Elektros ir elektronikos inžinierių institutas).

Paieškos ir gelbėjimo operacijos taip pat labai pasinaudoja binokulinės regėjimo sistemomis. Dronai gali pereiti per pavojingas ar neprieinamas vietas, naudodami realaus laiko 3D žemėlapių sudarymą, kad tiksliai nustatytų išgyvenusius žmones arba įvertintų katastrofų zonas. Ši galimybė pagreitina reakcijos laiką ir gerina gelbėjimo misijų efektyvumą (Amerikos Raudonasis Kryžius).

Taip pat logistikos ir sandėlių automatizacijoje binokulinė rega suteikia dronams galimybę atlikti užduotis, tokias kaip inventorizavimo valdymas, objektų atpažinimas ir autonominė navigacija dinamiškose vidaus aplinkose. Tai padidina efektyvumą ir sumažina operacines išlaidas (DHL).

Apskritai, binokulinių regėjimo sistemų integracija autonominiuose dronuose skatina inovacijas ir efektyvumą skirtingose sektoriuose, pabrėždama jų transformacinį potencialą tiek komercinėse, tiek humanitarinėse programose.

Būsimos tendencijos ir tyrimų kryptys

Binokulinių regėjimo sistemų ateitis autonominiuose dronuose yra pasirengusi reikšmingiems pažangams, skatindama greitą jutiklių technologijų, mašininio mokymosi ir realaus laiko duomenų apdorojimo progresą. Viena iš besiformuojančių tendencijų yra lengvų, didelės raiškos stereo kamerų integracija, leidžianti dronams geriau suvokti gylį, tuo pačiu sumažinant naštos apribojimus. Tai papildoma neuromorfinių regos jutiklių plėtra, imituojančių biologinį regos apdorojimą, kad būtų pasiekta greitesnė ir energiją taupanti scenos interpretacija, perspektyvus maršrutas ilgalaikio veikimo ir mini dronų programa (Gynybos pažangių tyrimų projektų agentūra).

Kita svarbi tyrimų kryptis yra binokulinės regos ir kitų jutiklių moduliacijų, tokių kaip LiDAR ir termovizija, integracija, siekiant padidinti patikimumą sudėtingose aplinkose, tokių kaip rūkas, prastas apšvietimas ar užpildytos urbanizuotos vietovės. Multi-modalinių jutiklių susiliejimo algoritmai yra tobulinami, siekiant suteikti patikimesnį kliūčių nustatymą ir navigacijos galimybes (Nacionalinė aeronautikos ir kosmoso administracija).

Gilaus mokymosi pažanga taip pat formuoja binokulinės regos sistemų ateitį. Visapusiški neuroniniai tinklai mokomi vertinti gylį, atpažinti objektus ir numatyti judesius tiesiogiai iš stereo nuotraukų porų, sumažindami rankinės funkcijos išskyrimo poreikį ir gerindami prisitaikymą prie įvairių situacijų (DeepMind). Be to, bendradarbiavimo tyrimai nagrinėja debesų intelektą, kuriame keli dronai dalijasi binokulinės regos duomenimis, kad realiu laiku sudarytų turtingesnius, išsamesnius 3D žemėlapius.

Apskritai, pažangūs jutikliai, dirbtinio intelekto pagrindu sukurta suvokimo technologija ir daugelio agentų bendradarbiavimas turėtų pakeisti autonominių dronų galimybes, leidžiant saugesnes, efektyvesnes ir konteksto suvokiančias operacijas vis sudėtingesnėse aplinkose.

Šaltiniai ir nuorodos

• Mičigano technologijos institutas (MIT)
• IEEE
• NVIDIA
• NASA Ames Research Center
• Gynybos pažangių tyrimų projektų agentūra (DARPA)
• IEEE Computer Vision Foundation
• Atvirojo kodo robotikos fondas (OSRF)
• Jungtinių Tautų Maisto ir žemės ūkio organizacija
• Amerikos Raudonasis Kryžius
• DeepMind