Stochastic variance reduction
(ಸಂಭವನೀಯ) ವ್ಯತ್ಯಾಸ ಕಡಿತವು ಸೀಮಿತ ಮೊತ್ತಗಳಾಗಿ ವಿಭಜನೆಗೊಳ್ಳಬಹುದಾದ ಕಾರ್ಯಗಳನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಒಂದು ಕ್ರಮಾವಳಿ ವಿಧಾನವಾಗಿದೆ. ಸೀಮಿತ ಮೊತ್ತದ ರಚನೆಯನ್ನು ಬಳಸಿಕೊಳ್ಳುವ ಮೂಲಕ, ವ್ಯತ್ಯಾಸ ಕಡಿತ ತಂತ್ರಗಳು ಶಾಸ್ತ್ರೀಯ ಸಂಭವನೀಯ ಅಂದಾಜು ಸೆಟ್ಟಿಂಗ್ನಲ್ಲಿರುವಂತೆ, ಉದ್ದೇಶವನ್ನು ಅನಂತ ಮೊತ್ತವೆಂದು ಪರಿಗಣಿಸುವ ವಿಧಾನಗಳೊಂದಿಗೆ ಸಾಧಿಸಲು ಅಸಾಧ್ಯವಾದ ಒಮ್ಮುಖ ದರಗಳನ್ನು ಸಾಧಿಸಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ. ಲಾಜಿಸ್ಟಿಕ್ ರಿಗ್ರೆಷನ್ ಮತ್ತು ಬೆಂಬಲ ವೆಕ್ಟರ್ ಯಂತ್ರಗಳಂತಹ ತರಬೇತಿ ಯಂತ್ರ ಕಲಿಕೆಯ ಮಾದರಿಗಳಿಗೆ ವ್ಯತ್ಯಾಸ ಕಡಿತ ವಿಧಾನಗಳನ್ನು ವ್ಯಾಪಕವಾಗಿ ಬಳಸಲಾಗುತ್ತದೆ, ಏಕೆಂದರೆ ಈ ಸಮಸ್ಯೆಗಳು ಸೀಮಿತ-ಮೊತ್ತದ ರಚನೆ ಮತ್ತು ಏಕರೂಪದ ಕಂಡೀಷನಿಂಗ್ ಅನ್ನು ಹೊಂದಿದ್ದು, ಅವುಗಳನ್ನು ವ್ಯತ್ಯಾಸ ಕಡಿತಕ್ಕೆ ಸೂಕ್ತವಾದ ಅಭ್ಯರ್ಥಿಗಳಾಗಿ ಮಾಡುತ್ತದೆ. ಸೀಮಿತ ಮೊತ್ತದ ಉದ್ದೇಶಗಳು ಒಂದು ಕಾರ್ಯವನ್ನು ಸಂಕಲನ ಅಥವಾ ಸರಾಸರಿಯಾಗಿ ವಿಭಜಿಸಬಹುದಾದರೆ ಅದನ್ನು ಸೀಮಿತ ಮೊತ್ತದ ರಚನೆಯನ್ನು ಹೊಂದಿದೆ ಎಂದು ಪರಿಗಣಿಸಲಾಗುತ್ತದೆಃ ಇಲ್ಲಿ ಪ್ರತಿಯೊಂದರ ಕಾರ್ಯ ಮೌಲ್ಯ ಮತ್ತು ವ್ಯುತ್ಪತ್ತಿಯನ್ನು ಸ್ವತಂತ್ರವಾಗಿ ಪ್ರಶ್ನಿಸಬಹುದು. ವ್ಯತ್ಯಾಸ ಕಡಿತ ವಿಧಾನಗಳನ್ನು ಯಾವುದೇ ಧನಾತ್ಮಕ ಮತ್ತು ಯಾವುದೇ ರಚನೆಗೆ ಅನ್ವಯಿಸಬಹುದಾದರೂ, ಪ್ರತಿಯೊಂದರ ಸ್ಥಿತಿ ಸಂಖ್ಯೆಗೆ ಹೋಲಿಸಿದರೆ ದೊಡ್ಡದಾದಾಗ ಅವುಗಳ ಅನುಕೂಲಕರ ಸೈದ್ಧಾಂತಿಕ ಮತ್ತು ಪ್ರಾಯೋಗಿಕ ಗುಣಲಕ್ಷಣಗಳು ಉದ್ಭವಿಸುತ್ತವೆ, ಮತ್ತು ಲಿಪ್ಸಿಟ್ಜ್ ಮೃದುತ್ವ ಮತ್ತು ಬಲವಾದ ಕನ್ವೆಕ್ಸಿಟಿ ಸ್ಥಿರಾಂಕಗಳನ್ನು ಹೋಲುತ್ತವೆ (ಆದರೆ ಅಗತ್ಯವಾಗಿ ಒಂದೇ ಆಗಿರುವುದಿಲ್ಲ). ಸೀಮಿತ ಮೊತ್ತದ ರಚನೆಯನ್ನು ಯಾದೃಚ್ಛಿಕ ವೇರಿಯೇಬಲ್ ಅನ್ನು ಅವಲಂಬಿಸಿ ಕಾರ್ಯದ ನಿರೀಕ್ಷಿತ ಮೌಲ್ಯವಾದ ರೂಪದ ಕಾರ್ಯಗಳೊಂದಿಗೆ ವ್ಯವಹರಿಸುವ ಯಾದೃಚ್ಛಿಕ ಅಂದಾಜು ಸೆಟ್ಟಿಂಗ್ನೊಂದಿಗೆ ವ್ಯತಿರಿಕ್ತವಾಗಿರಬೇಕು. ಯಾವುದೇ ಸೀಮಿತ ಮೊತ್ತದ ಸಮಸ್ಯೆಯನ್ನು ಯಾದೃಚ್ಛಿಕ ಅಂದಾಜು ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು ಅತ್ಯುತ್ತಮವಾಗಿಸಬಹುದು. ವೇಗವರ್ಧನೆಯಿಲ್ಲದೆ ಸಂಭವನೀಯ ವ್ಯತ್ಯಾಸವನ್ನು ಕಡಿಮೆ ಮಾಡುವ ವಿಧಾನಗಳು ನಿಖರತೆಯೊಳಗೆ ಕನಿಷ್ಠ ಮಟ್ಟವನ್ನು ಕಂಡುಹಿಡಿಯಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ, ಅಂದರೆ. ಕ್ರಮದ ಹಲವಾರು ಹಂತಗಳಲ್ಲಿಃ ಹಂತಗಳ ಸಂಖ್ಯೆಯು ಲಾಗರಿದಮಿಕವಾಗಿ ಅಗತ್ಯವಿರುವ ನಿಖರತೆಯ ಮಟ್ಟವನ್ನು ಮಾತ್ರ ಅವಲಂಬಿಸಿರುತ್ತದೆ, ಇದು ಸಂಭವನೀಯ ಅಂದಾಜು ಚೌಕಟ್ಟಿಗೆ ವ್ಯತಿರಿಕ್ತವಾಗಿದೆ, ಅಲ್ಲಿ ಅಗತ್ಯವಿರುವ ಹಂತಗಳ ಸಂಖ್ಯೆಯು ಅಗತ್ಯವಿರುವ ನಿಖರತೆಗೆ ಅನುಗುಣವಾಗಿ ಬೆಳೆಯುತ್ತದೆ. ಸಂಭವನೀಯ ವ್ಯತ್ಯಾಸ ಕಡಿತ ವಿಧಾನಗಳು ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ಗಿಂತ ಕಡಿಮೆ ವೆಚ್ಚದಲ್ಲಿ, ಸಂಭವನೀಯ ಗ್ರೇಡಿಯಂಟ್ ಅನ್ನು ಮಾತ್ರ ಬಳಸುತ್ತಿದ್ದರೂ, ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ ವಿಧಾನದ ದರದಷ್ಟು ವೇಗವಾಗಿ ಒಮ್ಮುಖವಾಗುತ್ತವೆ. ಯಾದೃಚ್ಛಿಕ ವ್ಯತ್ಯಾಸ ಕಡಿತ ಚೌಕಟ್ಟಿನಲ್ಲಿನ ವೇಗವರ್ಧಿತ ವಿಧಾನಗಳು ಇನ್ನೂ ವೇಗವಾಗಿ ಒಮ್ಮುಖ ದರಗಳನ್ನು ಸಾಧಿಸುತ್ತವೆ, ನಿಖರತೆಯನ್ನು ತಲುಪಲು ಕೇವಲ ಹಂತಗಳ ಅಗತ್ಯವಿರುತ್ತದೆ, ವೇಗವರ್ಧಿತವಲ್ಲದ ವಿಧಾನಗಳಿಗಿಂತ ವೇಗವಾಗಿ. ಕಡಿಮೆ ಸಂಕೀರ್ಣತೆಯ ಮಿತಿಗಳು. ಸೀಮಿತ ಮೊತ್ತದ ವರ್ಗವು ನಯವಾದ ಬಲವಾದ ಕನ್ವೆಕ್ಸ್ ಸಮಸ್ಯೆಗಳಿಗೆ ಈ ದರವು ಸಾಧ್ಯವಾದಷ್ಟು ವೇಗವಾಗಿದೆ ಎಂದು ಸ್ಥಾಪಿಸುತ್ತದೆ. ವಿಧಾನಗಳ ವ್ಯತ್ಯಾಸ ಕಡಿತ ವಿಧಾನಗಳು 3 ಮುಖ್ಯ ವರ್ಗಗಳಲ್ಲಿ ಬರುತ್ತವೆಃ ಟೇಬಲ್ ಸರಾಸರಿ ವಿಧಾನಗಳು, ಪೂರ್ಣ-ಗ್ರೇಡಿಯಂಟ್ ಸ್ನ್ಯಾಪ್ಶಾಟ್ ವಿಧಾನಗಳು ಮತ್ತು ಡ್ಯುಯಲ್ ವಿಧಾನಗಳು. ಪ್ರತಿಯೊಂದು ವರ್ಗವು ಕನ್ವೆಕ್ಸ್, ನಯವಲ್ಲದ ಮತ್ತು ಕನ್ವೆಕ್ಸ್ ಅಲ್ಲದ ಸಮಸ್ಯೆಗಳೊಂದಿಗೆ ವ್ಯವಹರಿಸಲು ವಿನ್ಯಾಸಗೊಳಿಸಲಾದ ವಿಧಾನಗಳನ್ನು ಒಳಗೊಂಡಿದೆ, ಪ್ರತಿಯೊಂದೂ ಹೈಪರ್-ಪ್ಯಾರಾಮೀಟರ್ ಸೆಟ್ಟಿಂಗ್ಗಳು ಮತ್ತು ಇತರ ಕ್ರಮಾವಳಿ ವಿವರಗಳಲ್ಲಿ ಭಿನ್ನವಾಗಿದೆ. ಎಸ್. ಎ. ಜಿ. ಎ ವಿಧಾನದಲ್ಲಿ, ಮೂಲಮಾದರಿಯ ಟೇಬಲ್ ಸರಾಸರಿ ವಿಧಾನದಲ್ಲಿ, ನಾವು ಸೂಚಿಸುವ ಪ್ರತಿ ಪದಕ್ಕೂ ಸಾಕ್ಷಿಯಾಗಿರುವ ಕೊನೆಯ ಗ್ರೇಡಿಯಂಟ್ ಅನ್ನು ಒಳಗೊಂಡಿರುವ ಗಾತ್ರದ ಟೇಬಲ್ ಅನ್ನು ನಿರ್ವಹಿಸಲಾಗುತ್ತದೆ. ಪ್ರತಿ ಹಂತದಲ್ಲೂ, ಸೂಚ್ಯಂಕವನ್ನು ಸ್ಯಾಂಪಲ್ ಮಾಡಲಾಗುತ್ತದೆ ಮತ್ತು ಹೊಸ ಗ್ರೇಡಿಯಂಟ್ ಅನ್ನು ಲೆಕ್ಕ ಹಾಕಲಾಗುತ್ತದೆ. ಪುನರಾವರ್ತನೆಯನ್ನು ಈ ಕೆಳಗಿನಂತೆ ನವೀಕರಿಸಲಾಗುತ್ತದೆ ಮತ್ತು ನಂತರ ಟೇಬಲ್ ನಮೂದನ್ನು ಈ ರೀತಿ ನವೀಕರಿಸಲಾಗುತ್ತದೆ. ಅದರ ಸರಳತೆ, ಸುಲಭವಾಗಿ ಹೊಂದಿಕೊಳ್ಳಬಹುದಾದ ಸಿದ್ಧಾಂತ ಮತ್ತು ಅತ್ಯುತ್ತಮ ಕಾರ್ಯಕ್ಷಮತೆಯಿಂದಾಗಿ ಎಸ್. ಎ. ಜಿ. ಎ ವ್ಯತ್ಯಾಸವನ್ನು ಕಡಿಮೆ ಮಾಡುವ ವಿಧಾನಗಳಲ್ಲಿ ಅತ್ಯಂತ ಜನಪ್ರಿಯವಾಗಿದೆ. ಇದು ಎಸ್. ಎ. ಜಿ ವಿಧಾನದ ಉತ್ತರಾಧಿಕಾರಿಯಾಗಿದ್ದು, ಅದರ ನಮ್ಯತೆ ಮತ್ತು ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸುಧಾರಿಸುತ್ತದೆ. ಎಸ್. ವಿ. ಆರ್. ಜಿ. ಮೂಲಮಾದರಿಯ ಸ್ನ್ಯಾಪ್ಶಾಟ್ ವಿಧಾನವಾದ ಸ್ಟೋಚಾಸ್ಟಿಕ್ ವೇರಿಯೆನ್ಸ್ ರಿಡ್ಯೂಸ್ಡ್ ಗ್ರೇಡಿಯಂಟ್ ಮೆಥಡ್ (ಎಸ್. ವಿ. ಆರ್. ಜಿ.), ಮೇಜಿನ ಸರಾಸರಿಯನ್ನು ಬಳಸುವ ಬದಲು ಇದೇ ರೀತಿಯ ನವೀಕರಣವನ್ನು ಬಳಸುತ್ತದೆ, ಬದಲಿಗೆ ಇದು ಪೂರ್ಣ-ಗ್ರೇಡಿಯಂಟ್ ಅನ್ನು ಬಳಸುತ್ತದೆ, ಇದನ್ನು ನಿಯಮಿತ ಮಧ್ಯಂತರಗಳಲ್ಲಿ ಸ್ನ್ಯಾಪ್ಶಾಟ್ ಬಿಂದುವಿನಲ್ಲಿ ಮರುಮೌಲ್ಯಮಾಪನ ಮಾಡಲಾಗುತ್ತದೆ. ನವೀಕರಣವು ಹೀಗೆ ಆಗುತ್ತದೆಃ ಈ ವಿಧಾನಕ್ಕೆ ಪ್ರತಿ ಹಂತಕ್ಕೆ ಎರಡು ಸಂಭವನೀಯ ಗ್ರೇಡಿಯಂಟ್ ಮೌಲ್ಯಮಾಪನಗಳು ಬೇಕಾಗುತ್ತವೆ, ಒಂದು ಗಣನೆಗೆ ಮತ್ತು ಒಂದು ಗಣನೆಗೆ-ಟೇಬಲ್ ಸರಾಸರಿ ವಿಧಾನಗಳಿಗೆ ಕೇವಲ ಒಂದು ಅಗತ್ಯವಿದೆ. ಹೆಚ್ಚಿನ ಕಂಪ್ಯೂಟೇಶನಲ್ ವೆಚ್ಚದ ಹೊರತಾಗಿಯೂ, ಎಸ್. ವಿ. ಆರ್. ಜಿ ಜನಪ್ರಿಯವಾಗಿದೆ ಏಕೆಂದರೆ ಅದರ ಸರಳ ಒಮ್ಮುಖ ಸಿದ್ಧಾಂತವು ಹೊಸ ಆಪ್ಟಿಮೈಸೇಶನ್ ಸೆಟ್ಟಿಂಗ್ಗಳಿಗೆ ಹೆಚ್ಚು ಹೊಂದಿಕೊಳ್ಳುತ್ತದೆ. ಇದು ಕೋಷ್ಟಕದ ಸರಾಸರಿ ವಿಧಾನಗಳಿಗಿಂತ ಕಡಿಮೆ ಶೇಖರಣಾ ಅವಶ್ಯಕತೆಗಳನ್ನು ಹೊಂದಿದೆ, ಇದು ಕೋಷ್ಟಕದ ವಿಧಾನಗಳನ್ನು ಬಳಸಲಾಗದ ಅನೇಕ ಸೆಟ್ಟಿಂಗ್ಗಳಲ್ಲಿ ಅನ್ವಯಿಸುತ್ತದೆ. ಎಸ್. ಡಿ. ಸಿ. ಎ ಉದ್ದೇಶದ ಉಭಯ ಪ್ರಾತಿನಿಧ್ಯವನ್ನು ಬಳಸಿಕೊಳ್ಳುವುದು ಮತ್ತೊಂದು ವ್ಯತ್ಯಾಸ ಕಡಿತ ವಿಧಾನಕ್ಕೆ ಕಾರಣವಾಗುತ್ತದೆ, ಇದು ನಿರ್ದಿಷ್ಟವಾಗಿ ಸೀಮಿತ-ಮೊತ್ತಗಳಿಗೆ ಸೂಕ್ತವಾಗಿರುತ್ತದೆ, ಅಲ್ಲಿ ಪ್ರತಿ ಪದವು ಕನ್ವೆಕ್ಸ್ ಕಾಂಜುಗೇಟ್ ಅಥವಾ ಅದರ ಪ್ರಾಕ್ಸಿಮಲ್ ಆಪರೇಟರ್ ಅನ್ನು ಗಣನೆಗೆ ತೆಗೆದುಕೊಳ್ಳುವಂತೆ ಮಾಡುವ ರಚನೆಯನ್ನು ಹೊಂದಿರುತ್ತದೆ. ಸ್ಟ್ಯಾಂಡರ್ಡ್ ಎಸ್. ಡಿ. ಸಿ. ಎ ವಿಧಾನವು ಸಾಮಾನ್ಯ ಸೀಮಿತ ಮೊತ್ತದ ಸೆಟ್ಟಿಂಗ್ಗೆ ಹೋಲಿಸಿದರೆ ಹೆಚ್ಚುವರಿ ರಚನೆಯನ್ನು ಹೊಂದಿರುವ ಸೀಮಿತ ಮೊತ್ತಗಳನ್ನು ಪರಿಗಣಿಸುತ್ತದೆಃ ಇಲ್ಲಿ ಪ್ರತಿಯೊಂದೂ 1 ಆಯಾಮದದ್ದಾಗಿದೆ ಮತ್ತು ಪ್ರತಿಯೊಂದೂ ಅದಕ್ಕೆ ಸಂಬಂಧಿಸಿದ ದತ್ತಾಂಶ ಬಿಂದುವಾಗಿದೆ. ಎಸ್. ಡಿ. ಸಿ. ಎ. ಯು ದ್ವಂದ್ವ ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸುತ್ತದೆಃ ಯಾದೃಚ್ಛಿಕ ನಿರ್ದೇಶಾಂಕ ಆರೋಹಣ ವಿಧಾನದ ಮೂಲಕ, ಅಲ್ಲಿ ಪ್ರತಿ ಹಂತದಲ್ಲೂ ಯಾದೃಚ್ಛಿಕವಾಗಿ ಆಯ್ಕೆ ಮಾಡಲಾದ ನಿರ್ದೇಶಾಂಕಕ್ಕೆ ಸಂಬಂಧಿಸಿದಂತೆ ಉದ್ದೇಶವನ್ನು ಉತ್ತಮಗೊಳಿಸಲಾಗುತ್ತದೆ, ಇತರ ಎಲ್ಲಾ ನಿರ್ದೇಶಾಂಕಗಳು ಒಂದೇ ಆಗಿರುತ್ತವೆ. ಅಂದಾಜು ಪ್ರೈಮಲ್ ದ್ರಾವಣವನ್ನು ಮೌಲ್ಯಗಳಿಂದ ಮರುಪಡೆಯಬಹುದುಃ ಈ ವಿಧಾನವು ಹಂತ-ಗಾತ್ರದ ನಿಯತಾಂಕವನ್ನು ನಿರ್ದಿಷ್ಟಪಡಿಸುವ ಅಗತ್ಯವನ್ನು ತಪ್ಪಿಸುವಾಗ, ಇತರ ಸಂಭವನೀಯ ವ್ಯತ್ಯಾಸದ ಕಡಿಮೆ ವಿಧಾನಗಳಿಗೆ ಹೋಲುವ ಸೈದ್ಧಾಂತಿಕ ಒಮ್ಮುಖದ ದರಗಳನ್ನು ಪಡೆಯುತ್ತದೆ. ಇದು ದೊಡ್ಡದಾದಾಗ ಪ್ರಾಯೋಗಿಕವಾಗಿ ವೇಗವಾಗಿರುತ್ತದೆ, ಆದರೆ ಚಿಕ್ಕದಾದಾಗ ಇತರ ವಿಧಾನಗಳಿಗಿಂತ ಗಮನಾರ್ಹವಾಗಿ ನಿಧಾನವಾಗಿರುತ್ತದೆ. ವೇಗವರ್ಧಿತ ವಿಧಾನಗಳು ವೇಗವರ್ಧಿತ ವ್ಯತ್ಯಾಸ ಕಡಿತ ವಿಧಾನಗಳನ್ನು ಮೇಲಿನ ಪ್ರಮಾಣಿತ ವಿಧಾನಗಳ ಮೇಲೆ ನಿರ್ಮಿಸಲಾಗಿದೆ. ಆರಂಭಿಕ ವಿಧಾನಗಳು ಸರಿಸುಮಾರು ಅಥವಾ ನಿಖರವಾಗಿ ಒಮ್ಮುಖವನ್ನು ವೇಗಗೊಳಿಸಲು ಪ್ರಾಕ್ಸಿಮಲ್ ಆಪರೇಟರ್ಗಳನ್ನು ಬಳಸುತ್ತವೆ. ವೇಗವರ್ಧಕ ಚೌಕಟ್ಟು ಸಮೀಪದ ಆಪರೇಟರ್ ಅನ್ನು ಸರಿಸುಮಾರು ಪರಿಹರಿಸಲು ಮೇಲಿನ ಯಾವುದೇ ಪ್ರಮಾಣಿತ ವಿಧಾನಗಳನ್ನು ಆಂತರಿಕ ಆಪ್ಟಿಮೈಸರ್ ಆಗಿ ಬಳಸುತ್ತದೆಃ ಅದರ ನಂತರ ಅದು ಮುಂದಿನದನ್ನು ನಿರ್ಧರಿಸಲು ಎಕ್ಸ್ಟ್ರಾಪೋಲೇಷನ್ ಹಂತವನ್ನು ಬಳಸುತ್ತದೆಃ ವೇಗವರ್ಧಕ ವಿಧಾನದ ನಮ್ಯತೆ ಮತ್ತು ಸರಳತೆಯು ಇದನ್ನು ಜನಪ್ರಿಯ ಬೇಸ್ಲೈನ್ ವಿಧಾನವನ್ನಾಗಿ ಮಾಡುತ್ತದೆ. ಇದು ವೇಗವರ್ಧಿತ ವಿಧಾನಗಳ ನಡುವೆ ಒಮ್ಮುಖದ ಅತ್ಯುತ್ತಮ ದರವನ್ನು ಸಾಧಿಸುವುದಿಲ್ಲ, ಇದು ಹೈಪರ್-ನಿಯತಾಂಕಗಳಲ್ಲಿನ ಲಾಗ್ ಅಂಶದವರೆಗೆ ನಿಧಾನವಾಗಿರುತ್ತದೆ. ವೇಗವರ್ಧಿತ ವಿಧಾನವನ್ನು ನೀಡಲು ಪಾಯಿಂಟ್-ಎಸ್. ಎ. ಜಿ. ಎ ಪ್ರಾಕ್ಸಿಮಲ್ ಕಾರ್ಯಾಚರಣೆಗಳನ್ನು ನೇರವಾಗಿ ನಿಯಮಗಳಿಗೆ ಅನ್ವಯಿಸಬಹುದು. ಪಾಯಿಂಟ್-ಎಸ್ಎಜಿಎ ವಿಧಾನವು ಎಸ್ಎಜಿಎಯಲ್ಲಿನ ಗ್ರೇಡಿಯಂಟ್ ಕಾರ್ಯಾಚರಣೆಗಳನ್ನು ಪ್ರಾಕ್ಸಿಮಲ್ ಆಪರೇಟರ್ ಮೌಲ್ಯಮಾಪನಗಳೊಂದಿಗೆ ಬದಲಾಯಿಸುತ್ತದೆ, ಇದು ಸರಳ, ನೇರ ವೇಗವರ್ಧನೆ ವಿಧಾನಕ್ಕೆ ಕಾರಣವಾಗುತ್ತದೆಃ ಪ್ರತಿ ಹಂತದ ನಂತರ ಟೇಬಲ್ ನವೀಕರಣವನ್ನು ನಡೆಸಲಾಗುತ್ತದೆ. ಇಲ್ಲಿ ಹತ್ತನೇ ಪದಕ್ಕೆ ಪ್ರಾಕ್ಸಿಮಲ್ ಆಪರೇಟರ್ ಎಂದು ವ್ಯಾಖ್ಯಾನಿಸಲಾಗಿದೆಃ ತಿಳಿದಿರುವ ಇತರ ವೇಗವರ್ಧಿತ ವಿಧಾನಗಳಿಗಿಂತ ಭಿನ್ನವಾಗಿ, ಪಾಯಿಂಟ್-ಎಸ್ಎಜಿಎ ಹಂತಗಳ ನಡುವೆ ನಿರ್ವಹಿಸಲು ಒಂದೇ ಪುನರಾವರ್ತನೆಯ ಅನುಕ್ರಮವನ್ನು ಮಾತ್ರ ಹೊಂದಿರುತ್ತದೆ, ಮತ್ತು ಇದು ಕೇವಲ ಒಂದೇ ಟ್ಯೂನ್ ಮಾಡಬಹುದಾದ ನಿಯತಾಂಕವನ್ನು ಹೊಂದಿರುವ ಪ್ರಯೋಜನವನ್ನು ಹೊಂದಿದೆ. ಇದು ಹೆಚ್ಚುವರಿ ಲಾಗ್ ಅಂಶಗಳಿಲ್ಲದೆ ಬಲವಾಗಿ ಕನ್ವೆಕ್ಸ್ ಫೈನೈಟ್-ಸಮ್ ಮಿನಿಮೈಸೇಶನ್ಗಾಗಿ ಒಮ್ಮುಖದ ಅತ್ಯುತ್ತಮ ವೇಗವರ್ಧಿತ ದರವನ್ನು ಪಡೆಯುತ್ತದೆ. ಇವುಗಳನ್ನು ಸಹ ನೋಡಿ ಯಾದೃಚ್ಛಿಕ ಇಳಿಜಾರು ಮೂಲದ ಸಮನ್ವಯ ಆನ್ಲೈನ್ ಯಂತ್ರ ಕಲಿಕೆ ಪ್ರಾಕ್ಸಿಮಲ್ ಆಪರೇಟರ್ ಸಂಭವನೀಯ ಆಪ್ಟಿಮೈಸೇಶನ್ ಸಂಭವನೀಯ ಅಂದಾಜು ಉಲ್ಲೇಖಗಳು ಸಂಭವನೀಯ ಆಪ್ಟಿಮೈಸೇಶನ್ ಗ್ರೇಡಿಯಂಟ್ ವಿಧಾನಗಳು ಯಂತ್ರ ಕಲಿಕೆ ಕ್ರಮಾವಳಿಗಳು ಕನ್ವೆಕ್ಸ್ ಆಪ್ಟಿಮೈಸೇಶನ್