Abstract-I detta papper, introducerar vi en ny dator vision baserad attack som avslöjar ingångar på en touch-aktiverad enhet, medan angriparen inte kan se någon text eller popups från en video av offret knackar på pekskärmen. I attacken använder vi den optiska flödesalgoritmen för att identifiera beröringsramar där fingret rör vid skärmens yta. Vi använder innovativt skärningspunkter av upptäckta kanter på pekskärmen för att härleda homografimatrisen som kartlägger pekskärmens yta i videoramar till en referensbild av det virtuella tangentbordet. Vi analyserar skuggformationen runt fingertoppen och använder k-means klusteralgoritm för att identifiera beröringspunkter. Homografi kan sedan kartlägga dessa rörda punkter till tangenterna i det virtuella tangentbordet. Vårt arbete skiljer sig avsevärt från befintligt arbete. Vi inriktar oss på lösenordsinmatning och kan uppnå en hög framgångsgrad. Vi riktar in oss på scenarier som klassrum, konferenser och liknande samlingsplatser och använder en webbkamera eller smartphone-kamera. I dessa scener, singel-lins reflex (SLR) kameror och high-end videokameror som används i relaterade arbete kommer att verka misstänkt. För att bekämpa sådana datorseendebaserade attacker utformar, implementerar och utvärderar vi Sekretessförstärkande tangentbord (PEK) där ett slumpmässigt virtuellt tangentbord används för att mata in känslig information.
Yue m.fl. REF föreslog en metod för att bryta sifferbaserade lösenord genom att analysera skuggformationen runt fingertoppen.
Blind Recognition of Touched Keys: Attack and Countermeasures
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}