I detta dokument behandlas problemet med att lära sig optimala strategier för att uppfylla specifikationerna för signaltidslogik (STL) av agenter med okänd stokastisk dynamik. Systemet är modellerat som en Markov beslutsprocess, där staterna representerar partitioner av ett kontinuerligt utrymme och övergångssannolikheterna är okända. Vi formulerar två syntesproblem där den önskade STL specifikationen upprätthålls genom att maximera sannolikheten för tillfredsställelse, och den förväntade robustheten grad, det vill säga ett mått som kvantifierar kvaliteten på tillfredsställelse. Vi diskuterar att Q-learning inte är direkt tillämpligt på dessa problem eftersom sannolikheten för tillfredsställelse och förväntad robusthet, baserat på den kvantitativa semantiken i STL, inte ligger i den vanliga objektiva formen av Qlearning. För att lösa denna fråga föreslår vi en approximation av TTL-syntesproblem som kan lösas via Q-learning, och vi får vissa resultatgränser för den politik som uppnås genom det ungefärliga tillvägagångssättet. Den föreslagna metodens prestanda visas genom simuleringar.
I REF, författarna dra nytta av robustheten graden av signal temporal logik för att vägleda inlärningsprocessen i diskreta MDPs.
Q-Learning for robust satisfaction of signal temporal logic specifications
{'venue': '2016 IEEE 55th Conference on Decision and Control (CDC)', 'journal': '2016 IEEE 55th Conference on Decision and Control (CDC)', 'mag_field_of_study': ['Mathematics', 'Computer Science']}