, med artificiell intelligens (AI)-baserade visuella navigationsfunktioner, är extremt utmanande drivkrafter för Internet-of-Things kant intelligens kapacitet. Visuell navigering baserad på AI metoder, såsom djupa neurala nätverk (DNN) blir genomträngande för standardstorlek drönare, men anses utom räckhåll för nano-drönare med en storlek på några cm 2. I detta dokument presenterar vi den första (så vitt vi vet) demonstrationen av en navigationsmotor för autonoma nano-drönare som kan sluten end-to-end DNN-baserad visuell navigering. För att uppnå detta mål utvecklade vi en komplett metodik för parallellt utförande av komplexa DNNs direkt ombord resursbefruktade milliwattskala noder. Vårt system är baserat på GAP8, en ny parallell ultralowpower datorplattform, och en 27-g kommersiell, öppen källkod Crazyflie 2.0 nano-quadrotor. Som en del av vår allmänna metod, diskuterar vi de mjukvarukartläggning tekniker som gör det möjligt för DroNet state-of-the-art djupa konvolutionella neurala nätverket att helt utföras ombord inom en strikt 6 ram-per-sekund realtidsbegränsning utan kompromisser i fråga om flygresultat, medan all bearbetning sker med endast 64 mW i genomsnitt. Vår navigationsmotor är flexibel och kan användas för att spänna över ett brett prestandaområde: vid sin toppprestandahörna uppnår den 18 ramar/s samtidigt som den konsumerar i genomsnitt bara 3,5% av kraften i det utplacerade nanoflygplanet. För att dela våra viktigaste resultat med de inbäddade och robotiserade samhällena och främja vidare utveckling av autonoma nano-obemannade luftfartyg (UAV) släpper vi offentligt alla våra koder, dataset och utbildade nätverk.
Referensreferensreferensreferensen visar en navigationsmotor för autonoma nanodrönare som klarar sluten end-to-end DNN-baserad visuell navigering.
A 64-mW DNN-Based Visual Navigation Engine for Autonomous Nano-Drones
{'venue': 'IEEE Internet of Things Journal', 'journal': 'IEEE Internet of Things Journal', 'mag_field_of_study': ['Engineering', 'Computer Science']}