Människor är inte ofelbara konsekventa "orrakler": deras förtroende för beslutsfattande kan variera avsevärt mellan uppgifter och över tid. Vi har tidigare rapporterat fördelarna med att använda ett gränssnitt och algoritmer som uttryckligen fångade och utnyttjade användarnas förtroende: felfrekvenserna reducerades med upp till 50 % för ett industriellt inlärningsproblem i flera klasser, och antalet interaktioner som krävdes i ett designoptimeringssammanhang minskade med 33 %. Att ha tillgång till användarnas förtroendebedömningar skulle i hög grad kunna gynna intelligenta interaktiva system inom industrin, inom områden som intelligenta handledningssystem och inom hälso- och sjukvården. Det finns många skäl till att vilja fånga information om förtroende implicit. Vissa är ergonomiska, men andra är mer "sociala" som att vilja förstå (och eventuellt ta hänsyn till) användares kognitiva tillstånd utan att avbryta dem. Vi undersöker hypotesen att användarnas förtroende kan förutsägas noggrant från mätningar av deras beteende. Eye-tracking system användes för att fånga användarnas ögonmönster när de utförde en rad visuella beslutsuppgifter, efter vilka de rapporterade sitt förtroende på en 5-punkts Likert skala. Därefter har prediktiva modeller byggts med hjälp av "konventionella" maskininlärningsmetoder för numeriska sammanfattande funktioner som härrör från användarnas beteende. Vi undersöker också i vilken utsträckning det djupgående lärande paradigmet kan minska behovet av att designa särdrag som är specifika för varje applikation genom att skapa "gaze maps"-visuella representationer av banor och durationer av användarnas ögonfixeringar-och sedan utbilda djupa konvolutionsnätverk på dessa bilder. När vi behandlade predikteringen av användarnas förtroende som ett tvåklassigt problem (konfident / inte självsäker), uppnådde vi klassificeringsnoggrannhet på 88 % för scenariot med nya användare på kända uppgifter, och 87 % för kända användare på nya uppgifter. Med tanke på självförtroendet som en ordinal variabel producerade vi regressionsmodeller med ett absolut fel på i genomsnitt 0.7 i båda fallen. Fånga bara en enkel delmängd av icke-task-specifika numeriska funktioner gav något sämre, men ändå ganska hög noggrannhet (t.ex., MAE 1.0). Resultat som erhållits med blickkartor och konvolutionsnätverk är konkurrenskraftiga, trots att de inte har tillgång till långsiktig information om användare och uppgifter, vilket var avgörande för de "sammanfattningsrika" funktionerna. Detta tyder på att den look-map-baserade metoden utgör ett livskraftigt, överförbart alternativ till hantverksfunktioner för varje enskild tillämpning. Dessa resultat ger betydande bevis för att bekräfta vår hypotes, och erbjuder ett sätt att avsevärt förbättra många interaktiva artificiell intelligens program genom tillägg av billiga icke-inträngande hårdvara och beräknings billigt förutsägelse algoritmer.
Smith och Al. studera hur användarens förtroende för visuella beslutsfattande uppgifter kan bedömas, baserat på ögon blick fixeringar och interaktioner REF.
Predicting User Confidence During Visual Decision Making
{'venue': 'TIIS', 'journal': None, 'mag_field_of_study': ['Computer Science']}