Augmented reality (AR) and the Internet of Things (IoT) har fått stor uppmärksamhet som nyckelteknik för att göra våra framtida livsrum smartare, mer lyhörda och mer interaktiva och därigenom förändra vår vardag [1, 2]. AR är en typ av interaktivt medium som ger en bild av den verkliga världen förstärkt av, och / eller rumsligt registrerad med, användbar datorgenererad information. Det ger användarna möjlighet att förstå världen och förstärka sin intelligens när det gäller att lösa problem och utföra olika uppgifter [3, 4]. Med andra ord erbjuder AR ett bekvämt tillvägagångssätt för användare att visualisera och interagera med fysiska objekt och deras tillhörande data. Dessutom har den nuvarande infrastrukturen för sakernas Internet (IoT) nyligen utvidgats till att omfatta smartare och effektivare användarinteraktioner. Individuella eller meningsfulla uppsättningar och grupper av IoT-objekt kan genomsyras med data och/eller innehåll på ett distribuerat sätt och effektivt utnyttjas av kunden. Denna distribution gör det möjligt att skala och anpassa interaktionstekniker såsom augmented reality (AR). I detta dokument föreslås en arkitektur för att kombinera AR-gränssnittet med sakernas internet för en förbättrad shoppingupplevelse. Den föreslagna arkitekturen är distribuerad och därför skalbar så att alla IoT-produkter kan nås på plats lokalt utan någon serverrestriktion och ge intuitiv AR-baserad visualisering och interaktion för en flexibel produktprövning i showroom. Vi identifierar tre viktiga arkitektoniska komponenter som krävs för att stödja en sådan sömlös och skalbar AR-tjänst och erfarenhet för IoT-klara produkter: (1) objektcentrisk datahantering och visualisering, (2) mekanism för att komma åt, kontrollera och interagera med objektet, och (3) innehållsutbyte driftskompatibilitet. Vi illustrerar de möjliga scenarierna för shopping i framtiden med den interaktiva och smarta digitala informationen i kombination med den analoga, det vill säga den verkliga världen. En proof-of-concept genomförande presenteras som tillämpas på en sådan "digital-analog" stil shopping. Dessutom bedöms dess användbarhet experimentellt jämfört med att använda det konventionella kontrollgränssnittet. Vår experimentella studie visar att försökspersonerna tydligt upplever högre användbarhet och större tillfredsställelse med AR-interaktiv shopping, vilket visar potentialen i det föreslagna tillvägagångssättet. Jo och Kim Hum. Det är cent. Räkna. - Inf. - Vad är det? Det är Sci. (2019) Cent. Räkna. - Inf. - Vad är det? Det är Sci. (2019) 9:1 registrerat och visuellt förstärkt gränssnitt erbjuder ett direkt och semi-tagbart gränssnitt, och är därmed lätt att förstå och mycket användbart, särskilt för vardag och / eller var som helst användning [5]. Microsoft visade till exempel upp en framtida AR-tjänst med hjälp av ett par smartglas med blandad verklighet, som direkt visualiserar och gör att objektets funktionalitet interagerar med datauppsättningar från fysiska objekt och strukturer i användarens miljö [6]. Dessutom erbjuder den senaste tidens sakernas internet, som en infrastruktur för "varsomhelst" tjänster, ett effektivt sätt att hantera de nödvändiga och massiva mängder av tillhörande data (t.ex. individuell produktinformation) på ett distribuerat och objektcentriskt sätt [7]. IoT avser ett nätverk av vardagliga fysiska objekt inbäddade med minimala dataelement för avkänning, insamling och/eller delning av data, och även styra objekten själva, såsom elektroniska produkter. En sådan infrastruktur har tippats ut som grund för framtidens smarta miljöer genom en intuitiv kontroll och kontextbaserade tjänster [8]. Dessa två till synes orelaterade begrepp, AR och IoT, kan ha olika mål, men kan komplettera varandra tillsammans med de potentiella fördelarna och de förväntade synergierna med att integrera dem [9]. AR ger en intuitiv metod för användare att visualisera och interagera med IoT-objekt och deras tillhörande data. I synnerhet möjliggörs kontextmedvetna AR-tjänster genom att man använder och utnyttjar den mer förfinade miljöinformation som tillhandahålls av IoT-infrastrukturen [10]. I själva verket kan det också ge en naturlig miljö för att kombinera bekvämligheten av interaktiv digital information (t.ex., AR-aktiverad) till en mer effektiv, human och materiell/fysisk analoga objekt/värld. Mitt i allt som går digitalt, analog gör en comeback i vårt dagliga liv med den senaste populariteten av tryckta böcker, vinylskivor och filmbaserade bilder. I tidigare studier som genomförts inom IoT- eller AR-området, många människor föreslog överallt datahantering och intuitiv visualisering såsom en server-baserad strategi för allestädes närvarande AR-tjänster med vardagliga fysiska objekt. Men eftersom processen för objektigenkänning, som motsvarar att slå upp innehållskatalogen, innebär komplicerad funktionsmatchning, för ett stort antal objekt, har det varit svårt att utöka AR-tjänsterna till stora vardagsutrymmen. I molntjänster för att tillhandahålla en AR-tjänst var det svårt att tillhandahålla skalbarhet till IoT-objektet [1]. Således har många forskare fokuserat på AR-applikationer för att bära och dela användbar information som är kopplad till fysiska objekt, och ett förbättrat AR-system gör det möjligt för en användare att ansluta till objekt. I linje med ett sådant tänkande, dvs. idén om synergistiskt äktenskap av AR och IoT, presenterar detta papper en ny AR shopping ram och erfarenhet som möjliggörs av en förlängning av sakernas internet som en kontroll och produktprövning gränssnitt; dessutom visar vi vårt förslag med hjälp av en verklig prototypsystem och validera våra påståenden i termer av dess förbättrade användbarhet och systemprestanda. Vi illustrerar möjliga scenarier för shopping i framtiden med interaktiv och smart digital information i kombination med den analoga verkligheten och presenterar att som ett proof-of-concept gör det möjligt att omedelbart få information om shopping objekt och korrekt visualisera informationen baserat på den exakta platsen för objektet till en AR-klient. Proof-of-concept genomförande presenteras som tillämpas på en sådan "digital-analog" stil shopping. Dessutom bedöms dess användbarhet experimentellt jämfört med att använda det konventionella kontrollgränssnittet. Vi tror och hävdar att det finns viktiga komponenter som krävs för att stödja en sådan sömlös och skalbar AR-tjänst och erfarenhet för IoT-klara produkter: (1) objekt-centrerad datahantering och visualisering, (2) mekanism för att komma åt, kontrollera och interagera med objektet, och (3) innehåll utbyta interoperabilitet. Figur 1 visar en möjlig systemarkitektur som belyser de tre ovannämnda komponenterna (för en detaljerad förklaring hänvisas till senare avsnitt). AR-klienten (en mobil eller glasenhet) kan omedelbart ansluta till en IoT-produkt, få relevanta objektspecifika data, kontrollinformation och tillhörande AR-datauppsättningar för den givna riktade tjänsten (t.ex. känna igen objektet och visualisera produktinformation) och därmed interagera direkt med det fysiska objektet för att prova det på plats, kallas direkt kontroll och naturlig interaktion [1]. I en situation med objektcentrerad datahantering kan data och/eller innehåll också laddas upp till objekten för att lägga till och skapa nya IoT-tjänster och applikationer, och AR ger en idealisk och naturlig infrastruktur för "varsomhelst" interaktion med fysiska objekt. I samband med shopping, tjänster kan omfatta interaktivt visualisera användningen instruktioner, förhandla om priset och leverans, och testa köra produkten genom enheten styrgränssnittet med sömlös innehåll operability. Observera att reklam, produktkontroll och AR-spårningsdata som visas i bild. 1 krävs för att visualisera med förbyggda och förlagrade AR-innehåll med avseende på objektets funktioner genom olika stilar av AR interaktion. Dessutom är objektspårning ett grundläggande problem i AR. De föreslagna IoT-produkterna kan också vara att enkelt tillämpa igenkänning och spårning för AR. Förutom generiska data och tjänsteinnehåll kan individuella IoT-produkter av intresse i närheten av AR-klienten kommunicera den information som krävs för att känna igen och spåra sig själv, inklusive funktioner, algoritmtyp, och även det fysiska tillståndet (till exempel belysning, avstånd, eller andra följeslagare referensobjekt). Det vill säga, AR-klienten "leds" av målet själv för att lokalisera och spåra den [1]. Observera att i detta system är antalet kandidater i matchningen, dvs. endast kandidaterna i interaktionsutrymmet för AR-klienten eller användaren, relativt lågt. Detta gör det i sin tur möjligt att använda en kollektiv algoritmisk metod och minska antalet funktioner, mallar och modeller i matchningsprocessen, vilket ytterligare minskar datakravet. Figur 2 visar en mer detaljerad plan för AR-baserad interaktion för att stödja direkt kontroll av köpobjekten. AR-baserad interaktion förväntas vara mycket mer intuitiv, direkt och hjälpsam, t.ex. den GUI-baserade handhållna fjärrkontrollen eller konventionella utbytbara gränssnitt (t.ex. genom att slå på/av en av de visade lamporna i Bild. 2 )............................................................................................................... Till exempel, för en shoppingkund att testa produkter i taket, om möjligt, behöver man vanligtvis lite hjälp av försäljaren (som ofta inte är lätt tillgänglig). Även om det finns en GUI-baserad app för ett sådant ändamål, det finns olägenheter att ladda ner det och bekanta sig med gränssnittet, vilket skulle vara oöverkomligt för miljontals olika produkter. Vårt föreslagna system eliminerar många av sådana mentala och fysiska hinder med automatisk upptäckt och anslutning och objektspecifikt informationsutbyte på plats genom en enhetlig och standardiserad IoT-ram. Till exempel, AR serviceklienten interagerar direkt med IoT-objektet av intresse i det omedelbara shoppingområdet, och vid anslutning, omedelbart får kontextrelevanta AR shopping dataset (för spårning eller anpassat tjänsteinnehåll, bland annat) [1]. Beroende på sammanhanget visas lämpliga och tillgängliga tjänster, såsom en enkel produktinformationsdisplay, apparatkontroll och en instruktionsbok, som presenteras i lämplig form (t.ex. genom ett mobilt grafiskt gränssnitt, AR-glasögon, mobil AR, röst, rumsligt registrerad AR, eller ett enkelt överlägg), och interagerar med. Således visar vi vårt förslag med hjälp av en verklig prototypsystem för möjliga shopping scenarier presenteras som tillämpas på sådan (2019) 9:1 en "digital-analog" stil shopping med interaktiv och smart digital information i framtiden och validera våra påståenden i termer av förbättrad användbarhet och systemprestanda med proof-of-concept implementering. Resten av detta dokument är organiserat enligt följande. För det första ger vi en översyn av relaterad forskning och krav på vår föreslagna IoT + AR arkitektur i Avsnitt II. I avsnitten III och IV diskuterar vi futuristiska användningsscenarier och ett detaljerat dataflöde av IoT + AR för shoppingsituationer. I avsnitt V presenteras det faktiska genomförandet och i avsnitt VI presenteras valideringsförsöket. Slutligen sammanfattar vi i avsnitt VII vår studie och avslutar dokumentet med en diskussion och riktlinjer för det framtida arbetet. Granskningen av relaterad forskning fokuserar på tre nyckelkomponenter och krav i vår föreslagna IoT + AR arkitektur, nämligen den nuvarande state-of-the-art på AR / IoT data management, tidigare metoder för interaktion med IoT objekt inklusive de få fall av att använda AR, och standard innehåll representation eller system interoperabilitet protokoll. AR-tjänster behöver vanligtvis hantera generiska data och tjänsteinnehåll för sina beståndsdelar objekt eller förstärkning mål, som är fysiska vardagliga objekt. Här ser vi över de nuvarande tillvägagångssätten för att representera sådana fysiska objektdata för AR-användning (t.ex. arkitektur och datahantering). Tidigare AR-system implementerades som en enda applikation med allt innehåll och alla tillgångar inbäddade i den, med hjälp av programmeringsbibliotek [11, 12]. Som sådan tenderade det utökade innehållet i ett objekt att vara enkelt (till exempel för att helt enkelt demonstrera förstärkningsförmågan) och oorganiserad. GPS-utrustade mobiler och smartphones har gjort det möjligt att utveckla lokaliseringsbaserade geografiska tjänster och AR-tjänster, till exempel genom att tillhandahålla riktlinjer för kommersiella platser av intresse och turism [13, 14]. En sådan tjänst har gjort det nödvändigt att separera innehåll (och dess formatspecifikationer) och den underliggande spelaren för att stödja begreppet "varsomhelst" innehåll och tjänst, samt en enhetlig hantering av innehåll på servern. HTML [15], KML [16] och ARML [17] är markeringsspråk för detta ändamål. Wikitude föreslog till exempel det förstärkta reality markup-språket (ARML) för platsbaserade tjänster [14]. ARML gör det möjligt att definiera geografiska punkter eller landmärken av intresse och associera GPS-koordinater och enkelt förstärkande innehåll (t.ex. text, logotyper och bilder). Flera andra metoder för innehållsrepresentation finns för AR-tjänster, men de kräver antingen en specifik applikation eller innehållstyp (t.ex. videobaserad [18], AR on-line-manual [19] och AR-guide [20] ) eller komplicerad skriptning utan tillräcklig abstraktion. Ett standardformat för driftskompatibelt innehåll för att representera olika omfattande former av AR-tjänster har dock ännu inte föreslagits. Dessutom kan miljarder fysiska objekt inom en nära framtid automatiskt kommunicera med datorer och sammankoppla med varandra för kollektiva intelligenta tjänster [21]. I detta sammanhang skalbara objekt namnge och adressera och specificera standard. Detta gör att ett fysiskt objekt kan refereras och associeras med dess virtuella motsvarighet som det direkt matchade resultatet. I vårt fall, klienten AR systemet får "feature dataset" och "innehåll" information för varje shopping objekt från den upptäckta IoT-enhet i användarnärheten i standardformat (t.ex., frontbilder av shopping objekt, produktens ursprung och pris) för att känna igen, visualisera och interagera med objektet [7]. Dessutom ingår information som utbyts mellan AR-klienten och shoppingobjektet i IoT-enheten snarare än hämtas från en extern server. Vi antar att det framtida IoT-objektet kommer att ha denna information (faktiska datauppsättningar för AR-spårning, generiska innehåll, UI-kontrollstruktur) som standardformat. Vi kan föreställa oss att olika IoT-objekt kan innehålla olika AR-information beroende på dess egenskaper, till exempel funktioner, processgränssnitt och handböcker.
Jo och Kim REF beskriver ett scenario som använder ett Internet of Thinks (IoT) och Augmented Reality (AR) tjänst på en smart pad baserat på en steg-för-steg hur-att-använda riktlinje.
IoT + AR: pervasive and augmented environments for “Digi-log” shopping experience
{'venue': 'Human-centric Computing and Information Sciences', 'journal': 'Human-centric Computing and Information Sciences', 'mag_field_of_study': ['Computer Science']}