Det är tydligt att ett av de primära verktyg vi kan använda för att minska den potentiella risken från ett felaktigt AI-system är förmågan att stänga av systemet. Eftersom AI-systemens kapacitet förbättras, är det viktigt att se till att sådana system inte antar delmål som hindrar en människa från att stänga av dem. Detta är en utmaning eftersom många formuleringar av rationella agenter skapar starka incitament för självbevarelse. Detta orsakas inte av en inbyggd instinkt, utan på grund av att en rationell agent maximerar den förväntade nyttan och inte kan uppnå något mål som den har getts om den är död. Vårt mål är att studera de incitament en agent måste tillåta sig själv att stängas av. Vi analyserar ett enkelt spel mellan ett mänskligt H och en robot R, där H kan trycka på R's off switch men R kan inaktivera avstängningsknappen. En traditionell agent tar sin belöningsfunktion för given: vi visar att sådana agenter har ett incitament att stänga av strömbrytaren, utom i specialfallet där H är helt rationellt. Vår nyckelinsikt är att för R att vilja bevara sin off switch, det måste vara osäker på nyttan i samband med resultatet, och att behandla H: s handlingar som viktiga observationer om detta verktyg. (R har inte heller något incitament att stänga av sig själv i denna miljö.) Vi drar slutsatsen att ge maskiner en lämplig nivå av osäkerhet om deras mål leder till säkrare design, och vi hävdar att denna inställning är en användbar generalisering av den klassiska AI paradigm rationella agenter. 1 se t.ex. synpunkterna i ITIF (2015).
REF visar att R:s lydnad beror på en kompromiss mellan R:s osäkerhet om  och H:s rationalitet.
The Off-Switch Game
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}