Differential dynamic programming
ಡಿಫರೆನ್ಷಿಯಲ್ ಡೈನಾಮಿಕ್ ಪ್ರೋಗ್ರಾಮಿಂಗ್ (ಡಿಡಿಪಿ) ಪಥ ಆಪ್ಟಿಮೈಸೇಶನ್ ವರ್ಗದ ಅತ್ಯುತ್ತಮ ನಿಯಂತ್ರಣ ಕ್ರಮಾವಳಿಯಾಗಿದೆ. ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು 1966 ರಲ್ಲಿ ಮೇಯ್ನ್ ಪರಿಚಯಿಸಿದರು ಮತ್ತು ತರುವಾಯ ಜಾಕೋಬ್ಸನ್ ಮತ್ತು ಮೇಯ್ನ್ ಅವರ ನಾಮಸೂಚಕ ಪುಸ್ತಕದಲ್ಲಿ ವಿಶ್ಲೇಷಿಸಲಾಗಿದೆ. ಅಲ್ಗಾರಿದಮ್ ಡೈನಾಮಿಕ್ಸ್ ಮತ್ತು ಕಾಸ್ಟ್ ಫಂಕ್ಷನ್ಗಳ ಸ್ಥಳೀಯ-ಕ್ವಾಡ್ರಾಟಿಕ್ ಮಾದರಿಗಳನ್ನು ಬಳಸುತ್ತದೆ ಮತ್ತು ಕ್ವಾಡ್ರಾಟಿಕ್ ಒಮ್ಮುಖವನ್ನು ಪ್ರದರ್ಶಿಸುತ್ತದೆ. ಇದು ಪಾಂಟೋಜ ಅವರ ಹಂತವಾರು ನ್ಯೂಟನ್ನ ವಿಧಾನದೊಂದಿಗೆ ನಿಕಟ ಸಂಬಂಧ ಹೊಂದಿದೆ. ಸೀಮಿತ-ಕ್ಷಿತಿಜ ಪ್ರತ್ಯೇಕ-ಸಮಯದ ಸಮಸ್ಯೆಗಳು ಡೈನಾಮಿಕ್ಸ್ ಕಾಲಕಾಲಕ್ಕೆ ನಿಯಂತ್ರಣವನ್ನು ನೀಡಿದ ಸ್ಥಿತಿಯ ವಿಕಾಸವನ್ನು ವಿವರಿಸುತ್ತದೆ. ಒಟ್ಟು ವೆಚ್ಚವು ಚಾಲನೆಯಲ್ಲಿರುವ ವೆಚ್ಚಗಳು ಮತ್ತು ಅಂತಿಮ ವೆಚ್ಚದ ಮೊತ್ತವಾಗಿದೆ, ಇದು ರಾಜ್ಯದಿಂದ ಪ್ರಾರಂಭಿಸಿ, ದಿಗಂತವನ್ನು ತಲುಪುವವರೆಗೆ ನಿಯಂತ್ರಣ ಅನುಕ್ರಮವನ್ನು ಅನ್ವಯಿಸುವಾಗ ಉಂಟಾಗುತ್ತದೆಃ ಎಲ್ಲಿ, ಮತ್ತು ಫಾರ್ ಅನ್ನು ಹೀಗೆ ನೀಡಲಾಗುತ್ತದೆ. ಆಪ್ಟಿಮಲ್ ಕಂಟ್ರೋಲ್ ಸಮಸ್ಯೆಯ ಪರಿಹಾರವೆಂದರೆ ಟ್ರಾಜೆಕ್ಟರಿ ಆಪ್ಟಿಮೈಸೇಶನ್ ಎಂದರೆ ಎಲ್ಲಾ ಸಂಭಾವ್ಯ ಆರಂಭಿಕ ಸ್ಥಿತಿಗಳಿಗಿಂತ ನಿರ್ದಿಷ್ಟವಾದದ್ದನ್ನು ಕಂಡುಹಿಡಿಯುವುದು. ಡೈನಾಮಿಕ್ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಭಾಗಶಃ ನಿಯಂತ್ರಣ ಅನುಕ್ರಮವಾಗಿರಲಿ ಮತ್ತು ವೆಚ್ಚದಿಂದ ಹೋಗುವುದನ್ನು ವೆಚ್ಚಗಳ ಭಾಗಶಃ ಮೊತ್ತವೆಂದು ವ್ಯಾಖ್ಯಾನಿಸೋಣಃ ಕನಿಷ್ಠ ನಿಯಂತ್ರಣ ಅನುಕ್ರಮವನ್ನು ನೀಡಲಾದ ವೆಚ್ಚದಿಂದ ಹೋಗುವುದು ಅಥವಾ ಸಮಯದಲ್ಲಿ ಮೌಲ್ಯದ ಕಾರ್ಯವು ವೆಚ್ಚದಿಂದ ಹೋಗುವುದುಃ ಸೆಟ್ಟಿಂಗ್, ಡೈನಾಮಿಕ್ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ತತ್ವವು ನಿಯಂತ್ರಣಗಳ ಸಂಪೂರ್ಣ ಅನುಕ್ರಮದಲ್ಲಿ ಕನಿಷ್ಠೀಕರಣವನ್ನು ಒಂದೇ ನಿಯಂತ್ರಣದ ಮೇಲೆ ಕನಿಷ್ಠೀಕರಣಗಳ ಅನುಕ್ರಮಕ್ಕೆ ಕಡಿಮೆ ಮಾಡುತ್ತದೆ, ಸಮಯಕ್ಕೆ ಹಿಂದಕ್ಕೆ ಮುಂದುವರಿಯುತ್ತದೆಃ ಇದು ಬೆಲ್ಮನ್ ಸಮೀಕರಣವಾಗಿದೆ. ಡಿಫರೆನ್ಷಿಯಲ್ ಡೈನಾಮಿಕ್ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಡಿಡಿಪಿ ಹೊಸ ನಿಯಂತ್ರಣ ಅನುಕ್ರಮವನ್ನು ಉತ್ಪಾದಿಸಲು ನಾಮಮಾತ್ರದ ಪಥದಲ್ಲಿ ಪುನರಾವರ್ತಿತವಾಗಿ ಹಿಂದುಳಿದ ಪಾಸ್ ಅನ್ನು ಮಾಡುವ ಮೂಲಕ ಮುಂದುವರಿಯುತ್ತದೆ, ಮತ್ತು ನಂತರ ಹೊಸ ನಾಮಮಾತ್ರದ ಪಥವನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡಲು ಮತ್ತು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ಫಾರ್ವರ್ಡ್-ಪಾಸ್ ಮಾಡುತ್ತದೆ. ನಾವು ಬ್ಯಾಕ್ವರ್ಡ್ ಪಾಸ್ನಿಂದ ಪ್ರಾರಂಭಿಸುತ್ತೇವೆ. ಆಪರೇಟರ್ನ ವಾದವು ಇದ್ದರೆ,-th ಜೋಡಿಯ ಸುತ್ತ ಈ ಪ್ರಮಾಣದ ವ್ಯತ್ಯಾಸವಾಗಿರಲಿಃ ಮತ್ತು ಎರಡನೇ ಕ್ರಮಕ್ಕೆ ವಿಸ್ತರಿಸಿ ಇಲ್ಲಿ ಬಳಸಲಾದ ಸಂಕೇತವು ಮೊರಿಮೊಟೊದ ಸಂಕೇತದ ರೂಪಾಂತರವಾಗಿದೆ, ಅಲ್ಲಿ ಸಬ್ಸ್ಕ್ರಿಪ್ಟ್ಗಳು ಛೇದ ವಿನ್ಯಾಸದಲ್ಲಿ ವ್ಯತ್ಯಾಸವನ್ನು ಸೂಚಿಸುತ್ತವೆ. ಓದುವಿಕೆಗಾಗಿ ಸೂಚ್ಯಂಕವನ್ನು ಬಿಡುವುದು, ಮುಂದಿನ ಸಮಯ-ಹಂತವನ್ನು ಸೂಚಿಸುವ ಅವಿಭಾಜ್ಯಗಳು, ವಿಸ್ತರಣೆಯ ಗುಣಾಂಕಗಳು ಕೊನೆಯ ಮೂರು ಸಮೀಕರಣಗಳಲ್ಲಿನ ಕೊನೆಯ ಪದಗಳು ಟೆನ್ಸರ್ನೊಂದಿಗೆ ವಾಹಕದ ಸಂಕೋಚನವನ್ನು ಸೂಚಿಸುತ್ತವೆ. ಇದಕ್ಕೆ ಸಂಬಂಧಿಸಿದಂತೆ ಚತುರ್ಭುಜ ಅಂದಾಜನ್ನು ಕಡಿಮೆ ಮಾಡುವುದರಿಂದ ನಾವು ಮುಕ್ತ-ಲೂಪ್ ಪದ ಮತ್ತು ಪ್ರತಿಕ್ರಿಯೆ ಲಾಭದ ಪದವನ್ನು ನೀಡುತ್ತೇವೆ. ಫಲಿತಾಂಶವನ್ನು ಮತ್ತೆ ಪ್ಲಗ್ ಇನ್ ಮಾಡಿದಾಗ, ನಾವು ಈಗ ಆ ಸಮಯದಲ್ಲಿ ಮೌಲ್ಯದ ಚತುರ್ಭುಜ ಮಾದರಿಯನ್ನು ಹೊಂದಿದ್ದೇವೆಃ ಸ್ಥಳೀಯ ಚತುರ್ಭುಜ ಮಾದರಿಗಳನ್ನು ಪುನರಾವರ್ತಿತವಾಗಿ ಲೆಕ್ಕಾಚಾರ ಮಾಡುವುದು ಮತ್ತು ಕೆಳಗಿನಿಂದ ಕೆಳಕ್ಕೆ ನಿಯಂತ್ರಣ ಮಾರ್ಪಾಡುಗಳು ಹಿಂದುಳಿದ ಪಾಸ್ ಅನ್ನು ರೂಪಿಸುತ್ತವೆ. ಮೇಲಿನಂತೆ, ಮೌಲ್ಯವನ್ನು ಇದರೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಲಾಗಿದೆ. ಬ್ಯಾಕ್ವರ್ಡ್ ಪಾಸ್ ಪೂರ್ಣಗೊಂಡ ನಂತರ, ಫಾರ್ವರ್ಡ್ ಪಾಸ್ ಹೊಸ ಪಥವನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡುತ್ತದೆಃ ಬ್ಯಾಕ್ವರ್ಡ್ ಪಾಸ್ಗಳು ಮತ್ತು ಫಾರ್ವರ್ಡ್ ಪಾಸ್ಗಳನ್ನು ಒಮ್ಮುಖವಾಗುವವರೆಗೆ ಪುನರಾವರ್ತಿಸಲಾಗುತ್ತದೆ. ಕ್ರಮಬದ್ಧಗೊಳಿಸುವಿಕೆ ಮತ್ತು ಲೈನ್-ಸರ್ಚ್ ಡಿಫರೆನ್ಷಿಯಲ್ ಡೈನಾಮಿಕ್ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಎಂಬುದು ನ್ಯೂಟನ್ನ ವಿಧಾನದಂತೆಯೇ ಎರಡನೇ ಕ್ರಮಾಂಕದ ಅಲ್ಗಾರಿದಮ್ ಆಗಿದೆ. ಆದ್ದರಿಂದ ಇದು ಕನಿಷ್ಠ ಮಟ್ಟಕ್ಕೆ ದೊಡ್ಡ ಹೆಜ್ಜೆ ಇಡುತ್ತದೆ ಮತ್ತು ಒಮ್ಮುಖವನ್ನು ಸಾಧಿಸಲು ಆಗಾಗ್ಗೆ ಕ್ರಮಬದ್ಧಗೊಳಿಸುವಿಕೆ ಮತ್ತು/ಅಥವಾ ಲೈನ್-ಸರ್ಚ್ನ ಅಗತ್ಯವಿರುತ್ತದೆ. ಡಿ. ಡಿ. ಪಿ. ಸನ್ನಿವೇಶದಲ್ಲಿ ಕ್ರಮಬದ್ಧಗೊಳಿಸುವಿಕೆ ಎಂದರೆ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಇನ್ ಧನಾತ್ಮಕ ನಿಶ್ಚಿತವಾಗಿದೆ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳುವುದು. ಡಿಡಿಪಿಯಲ್ಲಿ ಲೈನ್-ಸರ್ಚ್ ಎನ್ನುವುದು ಕೆಲವರಿಂದ ಓಪನ್-ಲೂಪ್ ನಿಯಂತ್ರಣ ಮಾರ್ಪಾಡನ್ನು ಸ್ಕೇಲಿಂಗ್ ಮಾಡಲು ಸಮನಾಗಿರುತ್ತದೆ. ಮಾಂಟೆ ಕಾರ್ಲೊ ಆವೃತ್ತಿ ಸ್ಯಾಂಪ್ಲೆಡ್ ಡಿಫರೆನ್ಷಿಯಲ್ ಡೈನಾಮಿಕ್ ಪ್ರೋಗ್ರಾಮಿಂಗ್ (ಎಸ್. ಎ. ಡಿ. ಡಿ. ಪಿ) ಡಿಫರೆನ್ಷಿಯಲ್ ಡೈನಾಮಿಕ್ ಪ್ರೋಗ್ರಾಮಿಂಗ್ನ ಮಾಂಟೆ ಕಾರ್ಲೊ ರೂಪಾಂತರವಾಗಿದೆ. ಇದು ಡಿಫರೆನ್ಷಿಯಲ್ ಡೈನಾಮಿಕ್ ಪ್ರೋಗ್ರಾಮಿಂಗ್ನ ಕ್ವಾಡ್ರಾಟಿಕ್ ವೆಚ್ಚವನ್ನು ಬೋಲ್ಟ್ಜ್ಮನ್ ವಿತರಣೆಯ ಶಕ್ತಿಯೆಂದು ಪರಿಗಣಿಸುವುದನ್ನು ಆಧರಿಸಿದೆ. ಈ ರೀತಿಯಲ್ಲಿ ಡಿಡಿಪಿಯ ಪ್ರಮಾಣಗಳನ್ನು ಬಹುಆಯಾಮದ ಸಾಮಾನ್ಯ ವಿತರಣೆಯ ಅಂಕಿಅಂಶಗಳಿಗೆ ಹೊಂದಿಸಬಹುದು. ವ್ಯತ್ಯಾಸವಿಲ್ಲದೆ ಮಾದರಿ ಪಥಗಳಿಂದ ಅಂಕಿಅಂಶಗಳನ್ನು ಮರು ಲೆಕ್ಕಾಚಾರ ಮಾಡಬಹುದು. ಮಾದರಿ ಡಿಫರೆನ್ಷಿಯಲ್ ಡೈನಾಮಿಕ್ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಅನ್ನು ಡಿಫರೆನ್ಷಿಯಲ್ ಡೈನಾಮಿಕ್ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ನೊಂದಿಗೆ ಪಥ ಸಮಗ್ರ ನೀತಿ ಸುಧಾರಣೆಗೆ ವಿಸ್ತರಿಸಲಾಗಿದೆ. ಇದು ಡಿಫರೆನ್ಷಿಯಲ್ ಡೈನಾಮಿಕ್ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಮತ್ತು ಪಥ ಅವಿಭಾಜ್ಯ ನಿಯಂತ್ರಣದ ನಡುವಿನ ಸಂಪರ್ಕವನ್ನು ಸೃಷ್ಟಿಸುತ್ತದೆ, ಇದು ಯಾದೃಚ್ಛಿಕ ಅತ್ಯುತ್ತಮ ನಿಯಂತ್ರಣದ ಚೌಕಟ್ಟಾಗಿದೆ. ನಿರ್ಬಂಧಿತ ಸಮಸ್ಯೆಗಳು ಇಂಟಿರಿಯರ್ ಪಾಯಿಂಟ್ ಡಿಫರೆನ್ಷಿಯಲ್ ಡೈನಾಮಿಕ್ ಪ್ರೋಗ್ರಾಮಿಂಗ್ (ಐಪಿಡಿಡಿಪಿ) ಡಿಡಿಪಿಯ ಆಂತರಿಕ-ಬಿಂದು ವಿಧಾನದ ಸಾಮಾನ್ಯೀಕರಣವಾಗಿದ್ದು, ಇದು ರೇಖಾತ್ಮಕವಲ್ಲದ ಸ್ಥಿತಿ ಮತ್ತು ಇನ್ಪುಟ್ ನಿರ್ಬಂಧಗಳೊಂದಿಗೆ ಅತ್ಯುತ್ತಮ ನಿಯಂತ್ರಣ ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸುತ್ತದೆ. ಆಪ್ಟಿಮಲ್ ಕಂಟ್ರೋಲ್ ರೆಫರೆನ್ಸಸ್ ಎಕ್ಸ್ಟರ್ನಲ್ ಲಿಂಕ್ಸ್ ಎ ಪೈಥಾನ್ ಇಂಪ್ಲಿಮೆಂಟೇಶನ್ ಆಫ್ ಡಿಡಿಪಿ ಎ ಮ್ಯಾಟ್ಲ್ಯಾಬ್ ಇಂಪ್ಲಿಮೆಂಟೇಶನ್ ಆಫ್ ಡಿಡಿಪಿ ಡೈನಾಮಿಕ್ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಅನ್ನು ಸಹ ನೋಡಿ.