Ako deaktivovať autonómne drony pomocou dáždnika a zraniteľnosť FlyTrap

  • Niektoré drony s autonómnym sledovaním na základe videnia sa dajú oklamať špecifickými vizuálnymi vzormi, ako je napríklad metóda FlyTrap aplikovaná na dáždniky.
  • Útok FlyTrap prinúti dron veriť, že sa cieľ vzďaľuje, a vynúti ho tak priblíženie, ktoré umožní jeho zachytenie alebo fyzickú zrážku s cieľom.
  • Táto zraniteľnosť ovplyvňuje obchodné modely a ukazuje, že bezpečnosť bezpilotných lietadiel závisí aj od robustnosti ich algoritmov fyzického vnímania.
  • Posilnenie školení v oblasti umelej inteligencie, kombinovanie senzorov a uplatňovanie nových bezpečnostných pravidiel sú kľúčové pred masívnym nasadením autonómnych dronov v kritických prostrediach.

Dáždnik na zneškodnenie dronov

V posledných rokoch sme sa na drony prestali pozerať ako na jednoduché high-tech hračka na nahrávanie videí aby sa stali kľúčovým nástrojom v oblasti bezpečnosti, sledovania a dokonca aj ozbrojených konfliktov. A ako to už býva pri každej technológii, ktorá sa tak rýchlo rozvíja, aspekt bezpečnosti a ochrany sa nie vždy vyvíja rovnakým tempom.

V tejto súvislosti skupina výskumníkov z Kalifornskej univerzity v Irvine predviedla niečo, čo znie ako vtip, ale má od neho ďaleko: Niektoré autonómne drony je možné prilákať a neutralizovať iba pomocou dáždnika so špecifickým farebným vzorom.Žiadne rušičky rádiových signálov, žiadne diaľkové hackovanie, žiadne sofistikované zbrane. Len „zvláštny“ dáždnik a trochu reverzného inžinierstva toho, ako tieto zariadenia vnímajú svet.

Prečo autonómne drony spôsobujú rastúce obavy

DronesDirect
Súvisiaci článok:
DronesDirect nám hovorí o svojom najnovšom projekte, plne autonómnom dáždniku

Autonómny dron za letu

Vzostup dronov sa v žiadnom prípade neobmedzuje len na voľný čas. Čína, Rusko, Spojené štáty a ďalšie krajiny Agresívne presadzujú vývoj bezpilotných lietadiel vybavených systémami umelej inteligencie schopnými samostatne sa rozhodovať. Už nehovoríme len o lietajúcich kamerách pre influencerov, ale o autonómnych platformách s taktickými a sledovacími aplikáciami.

Veľmi jasný príklad možno nájsť vo vojne r. Rusko a Ukrajinakde boli nasadené všetky druhy dronov: kamikadze zariadenia, sledovacie jednotky, systémy prepojené s optickými káblami na zlepšenie prenosu údajov atď. K tomu sa pridávajú vývoje, ktoré hraničia so sci-fi, ako napríklad ruské experimenty s údajnými holuby sa premenili na biodrony, ktoré ilustrujú, do akej miery sú niektorí aktéri ochotní preskúmať akúkoľvek technologickú cestu, aby získali výhody na bojisku.

Problém je v tom, že tá istá technológia, keď sa prenesie do civilného sektora, otvára dvere oveľa nepríjemnejším scenárom: neustále sledovanie ľudí, neoprávnené automatické sledovanie, zhromažďovanie údajov na citlivých miestach alebo jednoducho narušenie každodenného súkromia kohokoľvek, kto sa v nesprávnom čase stretne s jedným z týchto zariadení.

Masové využívanie dronov s funkciami autonómneho sledovania v úlohách, ako je súkromná bezpečnosť, hraničný dozorKontrola davu alebo hliadkovanie v kritickej infraštruktúre rozširuje ich operačné možnosti... ale zároveň znásobuje rizikové vektory. Nielen preto, že drony môžu zlyhať, ale aj preto, že sa dajú manipulovať, oklamať alebo použiť proti tým, ktorí ich prevádzkujú.

Vzhľadom na túto situáciu je čoraz jasnejšie, že nestačí šifrovať komunikáciu alebo chrániť rádiové pásma. Skutočný boj sa odohráva aj na fyzickej pôde, v tom, ako algoritmy videnia a umelej inteligencie interpretujú to, čo vidia cez kameru dronu, a ako reagujú na vizuálne vzory, ktoré ich majú zmiasť.

Výskum UC Irvine: zastrešujúci systém proti umelej inteligencii

Vzor FlyTrap na dáždniku

Namiesto vývoja nového útočného dronu tím... Kalifornská univerzita v Irvine (UC Irvine) Rozhodol sa k problému pristúpiť z druhej strany: ako sa fyzicky chrániť pred autonómnymi sledovacími systémami založenými na umelej inteligencii. Jeho cieľ bol jasný: zlepšiť takzvanú „fyzickú kybernetickú bezpečnosť“ pomocou predmety každodennej potreby a lacné veci, bez spoliehania sa na špecializovaný hardvér alebo pokročilé znalosti hackingu.

Počas svojho vyšetrovania experti dôkladne analyzovali, ako fungujú sledovacie algoritmy zabudované do mnohých komerčných dronov. Konkrétne sa zamerali na funkcie komerčne známe ako Active Track, Dynamic Track alebo iné podobné systémyktoré umožňujú dronu automaticky sledovať osobu alebo objekt pomocou počítačového videnia bez toho, aby pilot musel neustále manuálne upravovať trajektóriu.

Po viacerých experimentoch objavili prekvapivo jednoduchú slabinu: určité modely dronov, ktoré vykonávajú Sledovanie cieľa pomocou neurónových sietí a analýzy pohybu obrazu Môžu byť zamenené, ak im je prezentovaný veľmi špecifický vizuálny vzor. Táto metóda bola pomenovaná ako FlyTrap, „mucholapka“, čo označuje spôsob, akým láka dron do pozície, kde ho možno zachytiť alebo zostreliť.

Najpozoruhodnejšie na tomto prípade je, že praktická implementácia FlyTrapu sa uskutočnila pomocou niečoho tak bežného, ​​ako je dáždnik. Vyrazením príslušného vizuálneho vzoru na povrch dáždnika A keď ho otvoríte pred dronom, sledovacia umelá inteligencia interpretuje sériu zmien v obraze, vďaka ktorým uverí, že sa cieľ vzďaľuje, aj keď osoba, ktorá ho drží, stojí.

Výsledky boli prezentované na medzinárodnej konferencii špecializujúcej sa na počítačovú bezpečnosť (NDSS), kde sa podrobne uviedlo, že tento prístup nie je len laboratórnou kuriozitou. Testy ukázali, že fyzický útok funguje za rôznych podmienokso zmenami osvetlenia a počasia, čo ho nebezpečne približuje k scenáru reálneho použitia mimo kontrolovaného prostredia.

Ako funguje útok FlyTrap krok za krokom (na koncepčnej úrovni)

Aby sme pochopili, prečo môže dáždnik dostať autonómny dron do ťažkej situácie, musíme si pozrieť, ako fungujú systémy sledovania cieľov založené na... umelé videnieV podstate dron nepretržite zachytáva obrazy svojho okolia a pomocou neurónových sietí a algoritmov analýzy pohybu sa pokúša v každom zábere lokalizovať objekt, ktorý by mal sledovať.

Tieto algoritmy sa zameriavajú na vzory tvaru, farby, kontrastu a pohybu odhadnúť, kde sa objekt nachádza na aktuálnom obrázku vzhľadom na predchádzajúci. Z týchto informácií vypočítajú, či sa objekt približuje, vzďaľuje, pohybuje sa nabok, skrýva sa za prekážkou atď. Dron potom upraví svoju rýchlosť a trajektóriu tak, aby udržal objekt v zábere vo vzdialenosti považovanej za „optimálnu“.

Útok FlyTrap využíva práve túto logiku. Grafický vzor navrhnutý pre dáždnik spôsobuje, že dron generuje vzory, keď sa dron čo i len mierne pohne alebo zmení svoj uhol pohľadu. zjavné zmeny v mierke a polohe cieľa čo algoritmus interpretuje ako nepretržitý pohyb smerom od seba. Umelá inteligencia sa domnieva, že objekt sa pohybuje dozadu, hoci v skutočnosti stojí na mieste.

Čo teda robí dron? Aby kompenzoval túto údajnú vzdialenosť, postupne skracujte vzdialenosťSnaha „priblížiť sa“ k objektu, aby sa zachovala kompozícia podľa vnútorných pravidiel sledovacieho systému. Výsledkom je, že lietadlo vstupuje do čoraz agresívnejšej špirály priblíženia… až kým sa nebezpečne nepriblíži k dáždniku a osobe, ktorá ho nesie.

Keď je dron veľmi blízko, útočný operátor má veľmi výhodnú rezervu: môže chytiť ho sieťou, zasiahnuť ho, destabilizovať ho alebo ho zraziť o blízky povrch. Na rozdiel od iných obranných metód, ktorých cieľom je len prinútiť dron stratiť cieľ alebo prestať sledovať, FlyTrap vám umožňuje dostať ho priamo do ideálnej polohy pre fyzickú neutralizáciu.

Dotknuté modely dronov a skutočný rozsah problému

Výskumníci z UC Irvine sa nezastavili len pri simuláciách; svoju techniku ​​otestovali s... skutočné komerčné dronyMedzi úspešne hodnotené modely patria:

  • DJI Mini 4 Pro
  • DJI Neo
  • Vznášajúci sa vzduch X1

Všetky tieto zariadenia obsahujú funkcie automatického sledovania založené na počítačovom videní, ktoré sú teoreticky navrhnuté tak, aby uľahčili dynamické zábery bez toho, aby sa pilot musel obávať o kameru. Presne tá schopnosť autonómne sledovať používateľa Je to ten, ktorý sa obráti proti nemu, keď sa do hry dostane vzorec ako FlyTrap.

V testoch boli drony dostatočne prilákané na to, aby bola ich prevádzka uskutočniteľná. zachytenie pomocou sieťových zariadení alebo jeho kontrolovaný vplyvInými slovami, nešlo len o chvíľkové zmätenie algoritmu, ale o vynútenie si trvalého fyzického priblíženia, ktoré zariadenie nechalo na milosť a nemilosť útočníka.

Výskumníci zodpovední za štúdiu konali v súlade s najlepšími postupmi komunity kybernetickej bezpečnosti a Zodpovedne komunikovali zraniteľnosť. výrobcom, ktorých sa to týka, ešte predtým, ako zverejnia všetky podrobnosti. To otvára dvere spoločnostiam ako DJI a ďalším dotknutým firmám, aby prehodnotili svoje sledovacie algoritmy a zaviedli protiopatrenia v budúcich aktualizáciách firmvéru alebo generáciách hardvéru.

Avšak okrem týchto špecifických modelov tento objav... oveľa širšie dôsledkyAkýkoľvek UAS (bezpilotný letecký systém), ktorý sa spolieha na neurónové siete na sledovanie cieľov pomocou počítačového videnia, by mohol byť náchylný na variácie rovnakého prístupu, ak nie je špeciálne vycvičený na odolávanie týmto typom nepriateľských vzorcov.

Fyzický útok, ktorý nevyžaduje rádio, hacking ani rušenie

Jednou z kľúčových vlastností FlyTrapu je, že funguje výlučne v fyzická doménaNevyžaduje si to zasahovanie do komunikácie dronu, prístup k jeho dátovému spojeniu ani zneužívanie tradičných softvérových zraniteľností. Útok funguje, pretože manipuluje s tým, čo vidí kamera dronu, a teda s tým, čo sa podľa algoritmov umelej inteligencie deje.

V praxi to znamená, že útočník nemusí vydávať rádiové signály, WiFi, GPS alebo podobnéTaktiež nevyžaduje žiadne pripojenie k dronu, prístupové oprávnenia ani prihlasovacie údaje. Jednoducho ide o ukázanie dronu fyzického objektu určeného na zneužitie jeho kognitívnych slepých miest, čo je oveľa ťažšie sledovať a blokovať štandardnou obranou.

Tento prístup zapadá do tzv. nepriateľské útoky vo fyzickom sveteToto je čoraz relevantnejšia oblasť výskumu. Rovnako ako boli vytvorené okuliare, tričká alebo nálepky, ktoré dokážu oklamať systémy rozpoznávania tváre alebo autonómne autá, aj tu sa na vyradenie sledovacích algoritmov dronu používa dáždnik.

Navyše, náklady sú smiešne nízke v porovnaní so zdrojmi, ktoré sa zvyčajne spájajú s elektronickým bojom alebo zostrelením bezpilotných lietadiel. Nie sú potrebné žiadne drahé zariadenia, špeciálne antény ani odborné znalosti o rádiofrekvenčných zariadeniach.Všetko, čo potrebujete, je dáždnik so správnym dizajnom a určitá zručnosť, aby ste sa umiestnili na správne miesto, keď je dron v režime sledovania.

Táto asymetria medzi cenou pokročilého dronu a nákladmi na jeho neutralizáciu pomocou takého bežného objektu má priamy vplyv na to, ako by sme mali o tom uvažovať. bezpečnosť kritickej infraštruktúry, nasadenie polície alebo hraniceZlomyseľný aktér by teoreticky mohol pomocou týchto techník priblížiť sledovacie drony k obmedzeným oblastiam a potom ich deaktivovať alebo spôsobiť ich pád tam, kde chce.

Dôsledky pre bezpečnosť, súkromie a hromadné nasadenie dronov

Šírenie bezpilotných lietadiel poháňaných umelá inteligencia To predstavuje obrovskú výzvu pre verejnú bezpečnosť. Vidíme čoraz viac projektov, ktoré navrhujú využitie rojov dronov na hliadkovanie v mestách, monitorovanie hraníc alebo dohľad nad veľkými podujatiami. Štúdia UC Irvine však ukazuje, že bez posilnenia algoritmov vnímania celé toto nasadenie stojí na pomerne krehkých základoch.

Na operačnej úrovni by sa útok FlyTrap mohol použiť ofenzívne aj defenzívne. Na jednej strane by niekto mohol neutralizovať policajné alebo hraničné dronyTo ohrozuje reakčnú kapacitu bezpečnostných zložiek v konkrétnej oblasti. Na druhej strane, osoba obťažovaná dronom alebo obeť špionáže s komerčným zariadením by mohla použiť rovnaký mechanizmus na svoju obranu s jednoduchým upraveným dáždnikom.

Je tu aj aspekt ochrana strategickej infraštruktúry (elektrárne, dopravné zariadenia, dátové centrá atď.). Ak sa tieto lokality spoliehajú na autonómne drony ako doplnok k svojim monitorovacím systémom, zraniteľnosť ako FlyTrap zvyšuje riziko, že útočník by mohol obísť časť detekčného systému iba pomocou fyzického objektu bez akejkoľvek elektronickej interakcie.

Štúdia teda vysiela jasný signál: Bezpečnosť dronov sa nemôže obmedziť len na elektronickú alebo sieťovú vrstvuZabezpečenie dátových spojení, šifrovanie komunikácie a ochrana softvéru sú nevyhnutné, ale nedostatočné, ak sú algoritmy videnia oklamané farebnými vzormi vytlačenými na dáždniku. Odolnosť sa musí rozšíriť aj na to, ako umelá inteligencia interpretuje fyzické prostredie a ako je odolná voči úmyselnej manipulácii.

Keďže sa používanie autonómnych dronov stáva čoraz rozšírenejším v mestské prostredie a citlivé prevádzkyTieto typy útokov prestanú byť akademickou kuriozitou a stanú sa faktorom, ktorý budú musieť výrobcovia, regulačné orgány a prevádzkovatelia zvážiť už od fázy návrhu. Ignorovanie týchto zraniteľností môže byť nákladné po rozsiahlom nasadení.

Obmedzenia útoku a možné obranné línie

Hoci je predstava „zostrelenia dronu dáždnikom“ veľmi lákavá, nemali by ste si myslieť, že postačí hocijaký farebný dáždnik. Vzor FlyTrap je starostlivo navrhnutý zneužiť špecifické slabiny v testovaných algoritmoch. Nie je to univerzálny trik, ktorý bude automaticky fungovať so všetkými dronmi alebo za každých okolností.

Okrem toho útok vyžaduje, aby dron využíval funkcie autonómne sledovanie založené na videníAk operátor pilotuje lietadlo výlučne manuálne alebo ak je navádzané inými senzormi (ako napríklad LIDAR, radar alebo pokročilé kombinácie fúzie senzorov), priestor na oklamanie umelej inteligencie iba pomocou vizuálneho vzoru sa môže znížiť alebo dokonca úplne zmiznúť.

Ďalším praktickým obmedzením je potreba fyzicky priblížte dáždnik k zornému poľu dronuV scenároch, kde zariadenie letí vo vysokej nadmorskej výške alebo si udržiava vzdialenosť niekoľkých kilometrov od cieľa, nemusí byť dosiahnutie tejto blízkosti realistické. FlyTrap je obzvlášť nebezpečný v situáciách s nízkym letom, pri blízkom sledovaní ľudí alebo v mestskom prostredí s úzkymi trasami.

Z defenzívneho hľadiska existuje niekoľko možných postupov. Jedným z nich je preškolenie modelov videnia Používanie príkladov nepriateľských vzorcov, ako je FlyTrap, aby sa naučili rozpoznávať ich ako anomálie a vyhli sa pádu do pasce nekontrolovateľného priblíženia. Ďalšou možnosťou je kombinovať vizuálne informácie s inými zdrojmi (hĺbka, inerciálne senzory, 3D mapy), aby sa vyhli spoliehaniu sa výlučne na to, čo vidí kamera.

Je tiež rozumné zaviesť ho do firmvéru limity blízkosti a ďalšie bezpečnostné pravidláTieto opatrenia bránia dronu priblížiť sa k cieľu bližšie ako na určitú vzdialenosť, keď zistí nezvyčajné alebo nekonzistentné vizuálne zmeny. Toto síce nemusí úplne eliminovať klam, ale znížilo by to pravdepodobnosť, že dron dosiahne pozíciu, kde ho možno ľahko zachytiť rukou alebo sieťou.

Nakoniec, na regulačnej úrovni, orgány zodpovedné za certifikáciu dronov na použitie bezpečnostný, policajný alebo infraštruktúrny dohľad Do svojich hodnotení budú musieť zahrnúť testy proti tomuto typu fyzického útoku. Použitie dronu na natáčanie horskej scény nie je to isté ako jeho použitie na hliadkovanie na hraniciach: požadovaná úroveň odolnosti by mala byť jednoznačne odlišná.

To všetko vedie k zvláštnemu scenáru: čím „inteligentnejšie“ drony vyrobíme pomocou umelej inteligencie, Dôležitejšie bude myslieť ako kreatívny útočník ktorý sa snaží nájsť skratky v reálnom svete, aby ich oklamal. A práve tam sa môže protagonistom stať zdanlivo nevinný predmet, ako je farebný dáždnik.

Stručne povedané, tieto štúdie ukazujú, že Bezpečnosť autonómnych systémov nie je len otázkou firewallov a šifrovaniaale aj pochopiť, ako vnímajú prostredie, aké skratky používajú ich algoritmy a ako jednoduchý grafický vzor môže premeniť pokročilé bezpilotné lietadlo na niečo také zraniteľné ako mucha prilákaná dobre navrhnutou pascou.