ABSTRACT Problemet med adaptiv trafiksignalkontroll i flersektionssystemet har uppmärksammats av forskare. Bland de befintliga metoderna har förstärkt inlärningen visat sig vara effektiv. De komplexa skärningsegenskaperna, de heterogena skärningsstrukturerna och den dynamiska samordningen för flera skärningspunkter utgör dock utmaningar för att förstärka inlärningsbaserade algoritmer. I detta dokument föreslås ett samarbetsnätverk för djup Q med Q-värdeöverföring (QT-CDQN) för adaptiv flersektionssignalkontroll. I QT-CDQN modelleras ett flersektionstrafiknät i en region som ett fleragentsförstärkningssystem. Varje agent söker den optimala strategin för att styra en korsning genom ett djupt Q-nätverk som tar diskret tillstånd kodning av trafikinformation som nätverket ingångar. För att arbeta samarbetsvilligt överväger agenten inflytandet från de senaste åtgärderna av sina adjacenser i processen för politiskt lärande. Speciellt, de optimala Q-värden av grannagenter vid den senaste tiden steget överförs till förlustfunktionen i Q-nätverket. Dessutom används målnätverkets strategi och mekanismen för erfarenhetsåterspel för att förbättra algoritmens stabilitet. Fördelarna med QT-CDQN ligger inte bara i effektiviteten och skalbarheten för multi-intersektionssystemet utan också i mångsidigheten att hantera de heterogena skärningsstrukturerna. De experimentella studierna under olika vägstrukturer visar att QT-CDQN är konkurrenskraftig i termer av genomsnittlig kölängd, genomsnittlig hastighet och genomsnittlig väntetid jämfört med toppmoderna algoritmer. Dessutom validerar experimenten med återkommande trafikstockningar och tillfälliga trafikstockningar QT-CDQN:s anpassningsförmåga till dynamiska trafikmiljöer. INDEX TERMS Djup förstärkning lärande, multi-intersektion signalkontroll, Q-learning, Q-värde överföring, kooperativ.
De flesta studier endast utbildade RL-metoder i icke-överbelastningsförhållanden, REF antog Q-värde överföringsalgoritmen (QTCDQN) för den kooperativa signalstyrningen mellan ett enkelt 2*2 nät och validerade anpassningsförmågan hos deras algoritm till dynamiska trafikmiljöer med olika densiteter, såsom återkommande överbelastning och tillfällig överbelastning.
Cooperative Deep Q-Learning With Q-Value Transfer for Multi-Intersection Signal Control
{'venue': 'IEEE Access', 'journal': 'IEEE Access', 'mag_field_of_study': ['Computer Science']}