Abstract-Reward Engineering är avgörande för hög prestanda i förstärkande inlärningssystem. Tidigare forskning om belöning design har till stor del fokuserat på Markovian funktioner som representerar belöningen. Även om det har forskats om att uttrycka icke-Markov belöningar som linjär temporal logik (LTL) formler, har detta fokuserat på uppgifter specifikationer direkt definieras av användaren. I många tillämpningar i verkligheten är dock uppgiftsspecifikationerna tvetydiga och kan bara uttryckas som en tro på LTL-formler. I detta brev introducerar vi planering med osäkra specifikationer (PUnS), en ny formulering som tar upp den utmaning som icke-Markovianska specifikationer innebär, uttryckt som övertygelser om LTL-formler. Vi presenterar fyra kriterier som fångar semantiken att uppfylla en tro över specifikationer för olika tillämpningar, och analysera de kvalitativa konsekvenserna av dessa kriterier inom en syntetisk domän. Vi visar att det finns en motsvarande Markov-beslutsprocess (MDP) för alla fall av PUnS. Slutligen visar vi vår inställning till den verkliga uppgiften att ställa in ett middagsbord automatiskt med en robot som härledde uppgiftsspecifikationer från mänskliga demonstrationer. Index Terms-Ai-baserade metoder, lärande från demonstrationer.
I detta dokument utökar vi planering med osäker specifikation (PUnS) REF, en problemformulering som gör det möjligt att uttrycka uppgiftsspecifikationer som en tro på flera LTL-formler.
Planning With Uncertain Specifications (PUnS)
{'venue': 'IEEE Robotics and Automation Letters', 'journal': 'IEEE Robotics and Automation Letters', 'mag_field_of_study': ['Engineering', 'Computer Science']}