Stability (learning theory)
ಸ್ಥಿರತೆ, ಅಲ್ಗಾರಿದಮಿಕ್ ಸ್ಥಿರತೆ ಎಂದೂ ಕರೆಯಲ್ಪಡುತ್ತದೆ, ಯಂತ್ರ ಕಲಿಕೆಯ ಅಲ್ಗಾರಿದಮ್ ಔಟ್ಪುಟ್ ಅನ್ನು ಅದರ ಇನ್ಪುಟ್ಗಳಿಗೆ ಸಣ್ಣ ಅಡಚಣೆಗಳೊಂದಿಗೆ ಹೇಗೆ ಬದಲಾಯಿಸಲಾಗುತ್ತದೆ ಎಂಬುದರ ಕಂಪ್ಯೂಟೇಶನಲ್ ಕಲಿಕಾ ಸಿದ್ಧಾಂತದಲ್ಲಿ ಒಂದು ಕಲ್ಪನೆಯಾಗಿದೆ. ಸ್ಥಿರವಾದ ಕಲಿಕೆಯ ಕ್ರಮಾವಳಿಯು ತರಬೇತಿ ದತ್ತಾಂಶವನ್ನು ಸ್ವಲ್ಪಮಟ್ಟಿಗೆ ಮಾರ್ಪಡಿಸಿದಾಗ ಮುನ್ಸೂಚನೆಯು ಹೆಚ್ಚು ಬದಲಾಗುವುದಿಲ್ಲ. ಉದಾಹರಣೆಗೆ, ಕೈಬರಹದ ಅಕ್ಷರಗಳ 1000 ಉದಾಹರಣೆಗಳನ್ನು ಮತ್ತು ಅವುಗಳ ಲೇಬಲ್ಗಳನ್ನು ("ಎ" ನಿಂದ "ಝಡ್") ತರಬೇತಿ ಸೆಟ್ ಆಗಿ ಬಳಸಿಕೊಂಡು ವರ್ಣಮಾಲೆಯ ಕೈಬರಹದ ಅಕ್ಷರಗಳನ್ನು ಗುರುತಿಸಲು ತರಬೇತಿ ನೀಡಲಾಗುತ್ತಿರುವ ಯಂತ್ರ ಕಲಿಕೆಯ ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ಪರಿಗಣಿಸಿ. ಈ ತರಬೇತಿ ಸೆಟ್ ಅನ್ನು ಮಾರ್ಪಡಿಸುವ ಒಂದು ಮಾರ್ಗವೆಂದರೆ ಒಂದು ಉದಾಹರಣೆಯನ್ನು ಬಿಟ್ಟುಬಿಡುವುದು, ಇದರಿಂದಾಗಿ ಕೈಬರಹದ ಅಕ್ಷರಗಳು ಮತ್ತು ಅವುಗಳ ಲೇಬಲ್ಗಳ ಕೇವಲ 999 ಉದಾಹರಣೆಗಳು ಮಾತ್ರ ಲಭ್ಯವಿರುತ್ತವೆ. ಸ್ಥಿರವಾದ ಕಲಿಕೆಯ ಕ್ರಮಾವಳಿಯು 1000-ಅಂಶ ಮತ್ತು 999-ಅಂಶಗಳ ತರಬೇತಿ ಸೆಟ್ಗಳೆರಡರೊಂದಿಗೂ ಇದೇ ರೀತಿಯ ವರ್ಗೀಕರಣವನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ. ಭಾಷಾ ಕಲಿಕೆಯಿಂದ ಹಿಡಿದು ಭೌತಶಾಸ್ತ್ರ ಮತ್ತು ಎಂಜಿನಿಯರಿಂಗ್ನಲ್ಲಿನ ವಿಲೋಮ ಸಮಸ್ಯೆಗಳವರೆಗೆ ಅನೇಕ ರೀತಿಯ ಕಲಿಕೆಯ ಸಮಸ್ಯೆಗಳಿಗೆ ಸ್ಥಿರತೆಯನ್ನು ಅಧ್ಯಯನ ಮಾಡಬಹುದು, ಏಕೆಂದರೆ ಇದು ಕಲಿಯುವ ಮಾಹಿತಿಯ ಪ್ರಕಾರಕ್ಕಿಂತ ಕಲಿಕೆಯ ಪ್ರಕ್ರಿಯೆಯ ಆಸ್ತಿಯಾಗಿದೆ. ಸ್ಥಿರತೆಯ ಅಧ್ಯಯನವು 2000ದ ದಶಕದಲ್ಲಿ ಗಣನೆಯ ಕಲಿಕೆಯ ಸಿದ್ಧಾಂತದಲ್ಲಿ ಪ್ರಾಮುಖ್ಯತೆಯನ್ನು ಪಡೆದುಕೊಂಡಿತು, ಇದು ಸಾಮಾನ್ಯೀಕರಣದೊಂದಿಗೆ ಸಂಬಂಧವನ್ನು ಹೊಂದಿದೆ ಎಂದು ತೋರಿಸಲಾಯಿತು. ದೊಡ್ಡ ವರ್ಗದ ಕಲಿಕೆಯ ಕ್ರಮಾವಳಿಗಳಿಗೆ, ವಿಶೇಷವಾಗಿ ಪ್ರಾಯೋಗಿಕ ಅಪಾಯವನ್ನು ಕಡಿಮೆ ಮಾಡುವ ಕ್ರಮಾವಳಿಗಳಿಗೆ, ಕೆಲವು ರೀತಿಯ ಸ್ಥಿರತೆಯು ಉತ್ತಮ ಸಾಮಾನ್ಯೀಕರಣವನ್ನು ಖಚಿತಪಡಿಸುತ್ತದೆ ಎಂದು ತೋರಿಸಲಾಗಿದೆ. ಯಂತ್ರ ಕಲಿಕಾ ವ್ಯವಸ್ಥೆಯನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸುವ ಕೇಂದ್ರ ಗುರಿಯೆಂದರೆ ಕಲಿಕೆಯ ಕ್ರಮಾವಳಿಗಳು ಸೀಮಿತ ಸಂಖ್ಯೆಯ ಹೊಸ ಉದಾಹರಣೆಗಳ ಮೇಲೆ ತರಬೇತಿ ಪಡೆದ ನಂತರ ಅವುಗಳನ್ನು ಸಾಮಾನ್ಯಗೊಳಿಸುತ್ತವೆ ಅಥವಾ ನಿಖರವಾಗಿ ನಿರ್ವಹಿಸುತ್ತವೆ ಎಂದು ಖಾತರಿಪಡಿಸುವುದು. 1990ರ ದಶಕದಲ್ಲಿ, ಮೇಲ್ವಿಚಾರಿತ ಕಲಿಕೆಯ ಕ್ರಮಾವಳಿಗಳಿಗೆ ಸಾಮಾನ್ಯೀಕರಣದ ಮಿತಿಯನ್ನು ಪಡೆಯುವಲ್ಲಿ ಮೈಲಿಗಲ್ಲುಗಳನ್ನು ತಲುಪಲಾಯಿತು. ಸಾಮಾನ್ಯೀಕರಣವನ್ನು ಸಾಬೀತುಪಡಿಸಲು ಐತಿಹಾಸಿಕವಾಗಿ ಬಳಸಿದ ತಂತ್ರವೆಂದರೆ, ಪ್ರಾಯೋಗಿಕ ಪ್ರಮಾಣಗಳ ಏಕರೂಪದ ಒಮ್ಮುಖದ ಗುಣಲಕ್ಷಣಗಳನ್ನು ಅವುಗಳ ವಿಧಾನಗಳಿಗೆ ಬಳಸಿ, ಕ್ರಮಾವಳಿಯು ಸ್ಥಿರವಾಗಿದೆ ಎಂದು ತೋರಿಸುವುದು. ಈ ತಂತ್ರವನ್ನು ದೊಡ್ಡ ವರ್ಗದ ಪ್ರಾಯೋಗಿಕ ಅಪಾಯ ಕನಿಷ್ಠೀಕರಣ (ಇಆರ್ಎಂ) ಕ್ರಮಾವಳಿಗಳಿಗೆ ಸಾಮಾನ್ಯೀಕರಣದ ಮಿತಿಯನ್ನು ಪಡೆಯಲು ಬಳಸಲಾಯಿತು. ಇಆರ್ಎಂ ಅಲ್ಗಾರಿದಮ್ ಎಂದರೆ ತರಬೇತಿ ಗುಂಪಿನಲ್ಲಿನ ಪ್ರಾಯೋಗಿಕ ದೋಷವನ್ನು ಕಡಿಮೆ ಮಾಡುವ ರೀತಿಯಲ್ಲಿ ಊಹೆಯ ಸ್ಥಳದಿಂದ ಪರಿಹಾರವನ್ನು ಆಯ್ಕೆ ಮಾಡುವ ವಿಧಾನವಾಗಿದೆ. ಇಆರ್ಎಂ ಬೈನರಿ ವರ್ಗೀಕರಣ ಕ್ರಮಾವಳಿಗಳಿಗಾಗಿ ವ್ಲಾಡಿಮಿರ್ ವಾಪ್ನಿಕ್ ಅವರು ಸಾಬೀತುಪಡಿಸಿದ ಒಂದು ಸಾಮಾನ್ಯ ಫಲಿತಾಂಶವೆಂದರೆ, ಯಾವುದೇ ಗುರಿ ಕಾರ್ಯ ಮತ್ತು ಇನ್ಪುಟ್ ವಿತರಣೆಗೆ, ವಿಸಿ-ಆಯಾಮ ಮತ್ತು ತರಬೇತಿ ಉದಾಹರಣೆಗಳೊಂದಿಗೆ ಯಾವುದೇ ಊಹೆಯ ಸ್ಥಳವು ಸ್ಥಿರವಾಗಿರುತ್ತದೆ ಮತ್ತು ನಿಜವಾದ ದೋಷದಿಂದ ಗರಿಷ್ಠ (ಜೊತೆಗೆ ಲಾಗರಿಥಮಿಕ್ ಅಂಶಗಳು) ತರಬೇತಿ ದೋಷವನ್ನು ಉಂಟುಮಾಡುತ್ತದೆ. ಈ ಫಲಿತಾಂಶವನ್ನು ನಂತರ ವಿಶಿಷ್ಟ ಮಿನಿಮೈಸರ್ಗಳನ್ನು ಹೊಂದಿರದ ಕಾರ್ಯ ವರ್ಗಗಳೊಂದಿಗೆ ಬಹುತೇಕ-ಇಆರ್ಎಂ ಕ್ರಮಾವಳಿಗಳಿಗೆ ವಿಸ್ತರಿಸಲಾಯಿತು. ವಾಪ್ನಿಕ್ ಅವರ ಕೆಲಸವು, ವಿಸಿ ಸಿದ್ಧಾಂತ ಎಂದು ಕರೆಯಲ್ಪಡುವದನ್ನು ಬಳಸಿಕೊಂಡು, ಕಲಿಕೆಯ ಕ್ರಮಾವಳಿಯ ಸಾಮಾನ್ಯೀಕರಣ ಮತ್ತು ಕಲಿಯುವ ಕಾರ್ಯಗಳ ಕಲ್ಪಿತ ಸ್ಥಳದ ಗುಣಲಕ್ಷಣಗಳ ನಡುವಿನ ಸಂಬಂಧವನ್ನು ಸ್ಥಾಪಿಸಿತು. ಆದಾಗ್ಯೂ, ಈ ಫಲಿತಾಂಶಗಳನ್ನು ಮಿತಿಯಿಲ್ಲದ ವಿಸಿ-ಆಯಾಮಗಳ ಊಹಾತ್ಮಕ ಸ್ಥಳಗಳನ್ನು ಹೊಂದಿರುವ ಕ್ರಮಾವಳಿಗಳಿಗೆ ಅನ್ವಯಿಸಲು ಸಾಧ್ಯವಾಗಲಿಲ್ಲ. ಇನ್ನೊಂದು ರೀತಿಯಲ್ಲಿ ಹೇಳುವುದಾದರೆ, ಕಲಿಯುವ ಮಾಹಿತಿಯು ಅಳೆಯಲು ತುಂಬಾ ದೊಡ್ಡದಾದ ಸಂಕೀರ್ಣತೆಯನ್ನು ಹೊಂದಿರುವಾಗ ಈ ಫಲಿತಾಂಶಗಳನ್ನು ಅನ್ವಯಿಸಲು ಸಾಧ್ಯವಾಗಲಿಲ್ಲ. ಕೆಲವು ಸರಳವಾದ ಯಂತ್ರ ಕಲಿಕೆಯ ಕ್ರಮಾವಳಿಗಳು-ಉದಾಹರಣೆಗೆ, ಹಿಂಜರಿತಕ್ಕಾಗಿ-ಮಿತಿಯಿಲ್ಲದ ವಿಸಿ-ಆಯಾಮದೊಂದಿಗೆ ಊಹೆಯ ಸ್ಥಳಗಳನ್ನು ಹೊಂದಿವೆ. ಮತ್ತೊಂದು ಉದಾಹರಣೆಯೆಂದರೆ ಭಾಷಾ ಕಲಿಕೆಯ ಕ್ರಮಾವಳಿಗಳು, ಇದು ಅನಿಯಂತ್ರಿತ ಉದ್ದದ ವಾಕ್ಯಗಳನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ. ಸ್ಥಿರತೆಯ ವಿಶ್ಲೇಷಣೆಯನ್ನು 2000 ರ ದಶಕದಲ್ಲಿ ಕಂಪ್ಯೂಟೇಶನಲ್ ಕಲಿಕೆಯ ಸಿದ್ಧಾಂತಕ್ಕಾಗಿ ಅಭಿವೃದ್ಧಿಪಡಿಸಲಾಯಿತು ಮತ್ತು ಇದು ಸಾಮಾನ್ಯೀಕರಣದ ಮಿತಿಗಳನ್ನು ಪಡೆಯಲು ಪರ್ಯಾಯ ವಿಧಾನವಾಗಿದೆ. ಅಲ್ಗಾರಿದಮ್ನ ಸ್ಥಿರತೆಯು ಊಹೆಯ ಸ್ಥಳದ ನೇರ ಆಸ್ತಿಯ ಬದಲು ಕಲಿಕೆಯ ಪ್ರಕ್ರಿಯೆಯ ಒಂದು ಆಸ್ತಿಯಾಗಿದೆ, ಮತ್ತು ಇದನ್ನು ಹತ್ತಿರದ ನೆರೆಯವರಂತಹ ಮಿತಿಯಿಲ್ಲದ ಅಥವಾ ವ್ಯಾಖ್ಯಾನಿಸದ ವಿಸಿ-ಆಯಾಮದೊಂದಿಗೆ ಊಹೆಯ ಸ್ಥಳಗಳನ್ನು ಹೊಂದಿರುವ ಕ್ರಮಾವಳಿಗಳಲ್ಲಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡಬಹುದು. ಒಂದು ಸ್ಥಿರವಾದ ಕಲಿಕೆಯ ಅಲ್ಗಾರಿದಮ್ ಎಂದರೆ ತರಬೇತಿ ಸೆಟ್ ಅನ್ನು ಸ್ವಲ್ಪಮಟ್ಟಿಗೆ ಮಾರ್ಪಡಿಸಿದಾಗ ಕಲಿತ ಕಾರ್ಯವು ಹೆಚ್ಚು ಬದಲಾಗುವುದಿಲ್ಲ, ಉದಾಹರಣೆಗೆ ಒಂದು ಉದಾಹರಣೆಯನ್ನು ಬಿಟ್ಟುಬಿಡುವುದು. ನಷ್ಟದ ಕಾರ್ಯಕ್ಕೆ ಸಂಬಂಧಿಸಿದಂತೆ ಕಲಿಕೆಯ ಅಲ್ಗಾರಿದಮ್ನ ಸ್ಥಿರತೆಯನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ಕ್ರಾಸ್ ವ್ಯಾಲಿಡೇಷನ್ ಲೀವ್ ಒನ್ ಔಟ್ (ಸಿ. ವಿ. ಲೂ) ಅಲ್ಗಾರಿದಮ್ನಲ್ಲಿ ಲೀವ್ ಒನ್ ಔಟ್ ದೋಷದ ಅಳತೆಯನ್ನು ಬಳಸಲಾಗುತ್ತದೆ. ಅಂತೆಯೇ, ಸ್ಥಿರತೆಯ ವಿಶ್ಲೇಷಣೆಯು ಯಂತ್ರ ಕಲಿಕೆಗೆ ಸೂಕ್ಷ್ಮತೆಯ ವಿಶ್ಲೇಷಣೆಯ ಅನ್ವಯವಾಗಿದೆ. ಕ್ಲಾಸಿಕ್ ಫಲಿತಾಂಶಗಳ ಸಾರಾಂಶ 1900 ರ ದಶಕದ ಆರಂಭದಲ್ಲಿ-ಕಲಿಕೆಯ ಸಿದ್ಧಾಂತದಲ್ಲಿನ ಸ್ಥಿರತೆಯನ್ನು ಕಲಿಕೆಯ ನಕ್ಷೆಯ ನಿರಂತರತೆಯ ದೃಷ್ಟಿಯಿಂದ ಮೊದಲು ವಿವರಿಸಲಾಗಿದೆ, ಇದನ್ನು ಆಂಡ್ರೆ ನಿಕೊಲಾಯೆವಿಚ್ ಟಿಖೋನೋವ್ ಪತ್ತೆಹಚ್ಚಲಾಗಿದೆ. 1979-ಒಂದು ಅಲ್ಗಾರಿದಮ್ನ ಲೀವ್-ಒನ್-ಔಟ್ ನಡವಳಿಕೆಯು ಮಾದರಿಯಲ್ಲಿನ ಸಣ್ಣ ಬದಲಾವಣೆಗಳಿಗೆ ಅದರ ಸೂಕ್ಷ್ಮತೆಗೆ ಸಂಬಂಧಿಸಿದೆ ಎಂದು ಡಿವ್ರಾಯ್ ಮತ್ತು ವ್ಯಾಗ್ನರ್ ಗಮನಿಸಿದರು. 1999-ಸೀಮಿತ ವಿಸಿ-ಆಯಾಮ ಮತ್ತು ಸ್ಥಿರತೆಯ ನಡುವಿನ ಸಂಬಂಧವನ್ನು ಕೀರ್ನ್ಸ್ ಮತ್ತು ರಾನ್ ಕಂಡುಹಿಡಿದರು. 2002-ಒಂದು ಹೆಗ್ಗುರುತು ಪ್ರಬಂಧದಲ್ಲಿ, ಬೌಸ್ಕೆಟ್ ಮತ್ತು ಎಲಿಸೀಫ್ ಕಲಿಕೆಯ ಕ್ರಮಾವಳಿಯ ಏಕರೂಪದ ಊಹೆಯ ಸ್ಥಿರತೆಯ ಕಲ್ಪನೆಯನ್ನು ಪ್ರಸ್ತಾಪಿಸಿದರು ಮತ್ತು ಇದು ಕಡಿಮೆ ಸಾಮಾನ್ಯೀಕರಣದ ದೋಷವನ್ನು ಸೂಚಿಸುತ್ತದೆ ಎಂದು ತೋರಿಸಿದರು. ಆದಾಗ್ಯೂ, ಏಕರೂಪದ ಊಹೆಯ ಸ್ಥಿರತೆಯು ಕೇವಲ ಎರಡು ಕಾರ್ಯಗಳ ಊಹೆಯ ಸ್ಥಳವನ್ನು ಹೊಂದಿರುವ ಇಆರ್ಎಂ ಕ್ರಮಾವಳಿಗಳನ್ನು ಒಳಗೊಂಡಂತೆ ದೊಡ್ಡ ವರ್ಗದ ಕ್ರಮಾವಳಿಗಳಿಗೆ ಅನ್ವಯಿಸದ ಬಲವಾದ ಸ್ಥಿತಿಯಾಗಿದೆ. 2002-ಕುಟಿನ್ ಮತ್ತು ನಿಯೋಗಿ ಅವರು ಬೌಸ್ಕೆಟ್ ಮತ್ತು ಎಲಿಸೀಫ್ನ ಫಲಿತಾಂಶಗಳನ್ನು ಹಲವಾರು ದುರ್ಬಲ ಸ್ವರೂಪಗಳ ಸ್ಥಿರತೆಗೆ ಸಾಮಾನ್ಯೀಕರಣದ ಮಿತಿಯನ್ನು ಒದಗಿಸುವ ಮೂಲಕ ವಿಸ್ತರಿಸಿದರು, ಇದನ್ನು ಅವರು ಬಹುತೇಕ ಎಲ್ಲೆಡೆ ಸ್ಥಿರತೆ ಎಂದು ಕರೆದರು. ಇದಲ್ಲದೆ, ಪ್ರಾಯಶಃ ಸರಿಸುಮಾರು ಸರಿಯಾದ (ಪಿಎಸಿ) ವ್ಯವಸ್ಥೆಯಲ್ಲಿ ಇಆರ್ಎಂ ಕ್ರಮಾವಳಿಗಳಲ್ಲಿ ಸ್ಥಿರತೆ ಮತ್ತು ಸ್ಥಿರತೆಯ ನಡುವಿನ ಸಂಬಂಧವನ್ನು ಸ್ಥಾಪಿಸುವಲ್ಲಿ ಅವರು ಆರಂಭಿಕ ಹೆಜ್ಜೆ ಹಾಕಿದರು. 2004-ಪೊಗ್ಗಿಯೋ ಮತ್ತು ಇತರರು. ಇದು ಸ್ಥಿರತೆ ಮತ್ತು ಇಆರ್ಎಂ ಸ್ಥಿರತೆಯ ನಡುವಿನ ಸಾಮಾನ್ಯ ಸಂಬಂಧವನ್ನು ಸಾಬೀತುಪಡಿಸಿತು. ಅವರು ಲೀವ್-ಒನ್-ಔಟ್-ಸ್ಥಿರತೆಯ ಸಂಖ್ಯಾಶಾಸ್ತ್ರೀಯ ರೂಪವನ್ನು ಪ್ರಸ್ತಾಪಿಸಿದರು, ಅದನ್ನು ಅವರು CVEEEloo ಸ್ಥಿರತೆ ಎಂದು ಕರೆದರು, ಮತ್ತು ಇದು ಎ) ಸೀಮಿತ ನಷ್ಟದ ವರ್ಗಗಳಲ್ಲಿ ಸಾಮಾನ್ಯೀಕರಣಕ್ಕೆ ಸಾಕು, ಮತ್ತು ಬಿ) ಸ್ಕ್ವೇರ್ ಲಾಸ್, ಸಂಪೂರ್ಣ ಮೌಲ್ಯ ಮತ್ತು ಬೈನರಿ ವರ್ಗೀಕರಣದ ನಷ್ಟದಂತಹ ಕೆಲವು ನಷ್ಟದ ಕಾರ್ಯಗಳಿಗೆ ಇಆರ್ಎಂ ಕ್ರಮಾವಳಿಗಳ ಸ್ಥಿರತೆಗೆ (ಮತ್ತು ಆದ್ದರಿಂದ ಸಾಮಾನ್ಯೀಕರಣಕ್ಕೆ) ಅಗತ್ಯ ಮತ್ತು ಸಾಕು ಎಂದು ತೋರಿಸಿದರು. 2010-ಶಲೇವ್ ಶ್ವಾರ್ಟ್ಜ್ ಮತ್ತು ಇತರರು. ಊಹೆಯ ಸ್ಥಳ ಮತ್ತು ನಷ್ಟ ವರ್ಗದ ನಡುವಿನ ಸಂಕೀರ್ಣ ಸಂಬಂಧಗಳಿಂದಾಗಿ ವಾಪ್ನಿಕ್ನ ಮೂಲ ಫಲಿತಾಂಶಗಳೊಂದಿಗೆ ಸಮಸ್ಯೆಗಳನ್ನು ಗಮನಿಸಲಾಗಿದೆ. ಅವರು ವಿವಿಧ ನಷ್ಟದ ವರ್ಗಗಳು ಮತ್ತು ವಿವಿಧ ರೀತಿಯ ಕಲಿಕೆ, ಮೇಲ್ವಿಚಾರಣೆ ಮತ್ತು ಮೇಲ್ವಿಚಾರಣೆಯಿಲ್ಲದ ಸ್ಥಿರತೆಯ ಕಲ್ಪನೆಗಳನ್ನು ಚರ್ಚಿಸುತ್ತಾರೆ. 2016-ಮೊರಿಟ್ಜ್ ಹಾರ್ಡ್ಟ್ ಮತ್ತು ಇತರರು. ಊಹೆಯ ಮೇಲೆ ನಿರ್ದಿಷ್ಟ ಊಹೆಯನ್ನು ನೀಡಿದ ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ನ ಸ್ಥಿರತೆಯನ್ನು ಸಾಬೀತುಪಡಿಸಲಾಗಿದೆ ಮತ್ತು ಪ್ರತಿ ನಿದರ್ಶನವನ್ನು ಮಾದರಿಯನ್ನು ನವೀಕರಿಸಲು ಎಷ್ಟು ಬಾರಿ ಬಳಸಲಾಗುತ್ತದೆ. ಪ್ರಾಥಮಿಕ ವ್ಯಾಖ್ಯಾನಗಳು ಕಲಿಕೆಯ ಕ್ರಮಾವಳಿಗಳ ತರಬೇತಿ ಸೆಟ್ಗಳಿಗೆ ಸಂಬಂಧಿಸಿದ ಹಲವಾರು ಪದಗಳನ್ನು ನಾವು ವ್ಯಾಖ್ಯಾನಿಸುತ್ತೇವೆ, ಇದರಿಂದಾಗಿ ನಾವು ಸ್ಥಿರತೆಯನ್ನು ಅನೇಕ ರೀತಿಯಲ್ಲಿ ವ್ಯಾಖ್ಯಾನಿಸಬಹುದು ಮತ್ತು ಕ್ಷೇತ್ರದಿಂದ ಪ್ರಮೇಯಗಳನ್ನು ಪ್ರಸ್ತುತಪಡಿಸಬಹುದು. ಕಲಿಕೆಯ ನಕ್ಷೆ ಎಂದೂ ಕರೆಯಲ್ಪಡುವ ಯಂತ್ರ ಕಲಿಕೆಯ ಅಲ್ಗಾರಿದಮ್, ತರಬೇತಿ ದತ್ತಾಂಶ ಗುಂಪನ್ನು ನಕ್ಷೆ ಮಾಡುತ್ತದೆ, ಇದು ಲೇಬಲ್ ಮಾಡಲಾದ ಉದಾಹರಣೆಗಳ ಗುಂಪಾಗಿದೆ, ಇದು ತರಬೇತಿ ಉದಾಹರಣೆಗಳ ಒಂದೇ ಸ್ಥಳದಿಂದ, ಎಲ್ಲಿ ಮತ್ತು ಎಲ್ಲಿದೆ ಎಂಬ ಕಾರ್ಯದ ಮೇಲೆ ಇರುತ್ತದೆ. ಫಂಕ್ಷನ್ಗಳನ್ನು ಎಂದು ಕರೆಯಲಾಗುವ ಫಂಕ್ಷನ್ಗಳ ಕಲ್ಪಿತ ಸ್ಥಳದಿಂದ ಆಯ್ಕೆ ಮಾಡಲಾಗುತ್ತದೆ. ಅಲ್ಗಾರಿದಮ್ ಕಲಿಯುವ ತರಬೇತಿ ಸೆಟ್ ಅನ್ನು ಎಳೆಯಲಾದ ಗಾತ್ರದಲ್ಲಿ ಅಂದರೆ ಡಿ ಎಂದು ವ್ಯಾಖ್ಯಾನಿಸಲಾಗಿದೆ. ಅಜ್ಞಾತ ವಿತರಣೆಯಿಂದ ಡಿ. ಹೀಗಾಗಿ, ಕಲಿಕೆಯ ನಕ್ಷೆಯನ್ನು ಫ್ರಮ್ ಇನ್ಟು ಮ್ಯಾಪಿಂಗ್ ಎಂದು ವ್ಯಾಖ್ಯಾನಿಸಲಾಗಿದೆ, ತರಬೇತಿ ಸೆಟ್ ಅನ್ನು ಫ್ರಮ್ ಟು ಫಂಕ್ಷನ್ಗೆ ಮ್ಯಾಪಿಂಗ್ ಮಾಡಲಾಗುತ್ತದೆ. ಇಲ್ಲಿ, ನಾವು ನಿರ್ಣಯಾತ್ಮಕ ಕ್ರಮಾವಳಿಗಳನ್ನು ಮಾತ್ರ ಪರಿಗಣಿಸುತ್ತೇವೆ, ಅಲ್ಲಿ ಅವುಗಳಿಗೆ ಸಂಬಂಧಿಸಿದಂತೆ ಸಮ್ಮಿತೀಯವಾಗಿರುತ್ತವೆ, ಅಂದರೆ. ಇದು ತರಬೇತಿ ಗುಂಪಿನಲ್ಲಿನ ಅಂಶಗಳ ಕ್ರಮವನ್ನು ಅವಲಂಬಿಸಿರುವುದಿಲ್ಲ. ಇದಲ್ಲದೆ, ಎಲ್ಲಾ ಕಾರ್ಯಗಳನ್ನು ಅಳೆಯಬಹುದು ಮತ್ತು ಎಲ್ಲಾ ಸೆಟ್ಗಳನ್ನು ಎಣಿಸಬಹುದು ಎಂದು ನಾವು ಭಾವಿಸುತ್ತೇವೆ. ಒಂದು ಉದಾಹರಣೆಗೆ ಸಂಬಂಧಿಸಿದಂತೆ ಒಂದು ಊಹೆಯ ನಷ್ಟವನ್ನು ಹೀಗೆ ವ್ಯಾಖ್ಯಾನಿಸಲಾಗುತ್ತದೆ. ಇದರ ಪ್ರಾಯೋಗಿಕ ದೋಷ. ಇದರ ನಿಜವಾದ ದೋಷವೆಂದರೆ ಮೀ ಗಾತ್ರದ ತರಬೇತಿ ಸೆಟ್ ಅನ್ನು ನೀಡಿದರೆ, ನಾವು ಎಲ್ಲಾ i = 1., m, ಮಾರ್ಪಡಿಸಿದ ತರಬೇತಿ ಸೆಟ್ಗಳನ್ನು ಈ ಕೆಳಗಿನಂತೆ ನಿರ್ಮಿಸುತ್ತೇವೆಃ i-th ಅಂಶವನ್ನು ತೆಗೆದುಹಾಕುವ ಮೂಲಕ ಸ್ಥಿರತೆಯ ವ್ಯಾಖ್ಯಾನಗಳು ಒಂದು ಅಲ್ಗಾರಿದಮ್ ಈ ಕೆಳಗಿನವುಗಳನ್ನು ಹೊಂದಿದ್ದರೆ ನಷ್ಟ ಕಾರ್ಯ V ಗೆ ಸಂಬಂಧಿಸಿದಂತೆ ಊಹಾತ್ಮಕ ಸ್ಥಿರತೆಯನ್ನು β ಹೊಂದಿದೆಃ ಪಾಯಿಂಟ್-ಬುದ್ಧಿವಂತ ಕಲ್ಪನೆ ಸ್ಥಿರತೆ ಒಂದು ಅಲ್ಗಾರಿದಮ್ ಈ ಕೆಳಗಿನವುಗಳನ್ನು ಹೊಂದಿದ್ದರೆ ನಷ್ಟ ಕಾರ್ಯ V ಗೆ ಸಂಬಂಧಿಸಿದಂತೆ ಪಾಯಿಂಟ್-ಬುದ್ಧಿವಂತ ಊಹಾತ್ಮಕ ಸ್ಥಿರತೆಯನ್ನು β ಹೊಂದಿದೆಃ ದೋಷ ಸ್ಥಿರತೆ ಒಂದು ಅಲ್ಗಾರಿದಮ್ ನಷ್ಟ ಕಾರ್ಯ V ಗೆ ಸಂಬಂಧಿಸಿದಂತೆ ದೋಷ ಸ್ಥಿರತೆಯನ್ನು β ಹೊಂದಿದೆ ಈ ಕೆಳಗಿನವುಗಳನ್ನು ಹೊಂದಿದ್ದರೆಃ ಏಕರೂಪದ ಸ್ಥಿರತೆ ಒಂದು ಅಲ್ಗಾರಿದಮ್ ನಷ್ಟ ಕಾರ್ಯ V ಗೆ ಸಂಬಂಧಿಸಿದಂತೆ ಏಕರೂಪದ ಸ್ಥಿರತೆಯನ್ನು β ಹೊಂದಿದೆ. ಲೀವ್-ಒನ್-ಔಟ್ ಕ್ರಾಸ್-ವ್ಯಾಲಿಡೇಷನ್ (ಸಿ. ವಿ. ಲೂ) ಸ್ಥಿರತೆ ಒಂದು ಅಲ್ಗಾರಿದಮ್ ಈ ಕೆಳಗಿನವುಗಳನ್ನು ಹೊಂದಿದ್ದರೆ ನಷ್ಟ ಕಾರ್ಯ V ಗೆ ಸಂಬಂಧಿಸಿದಂತೆ ಸಿ. ವಿ. ಲೂ ಸ್ಥಿರತೆ β ಅನ್ನು ಹೊಂದಿದೆಃ (ಸಿ. ವಿ. ಲೂ) ಸ್ಥಿರತೆಯ ವ್ಯಾಖ್ಯಾನವು ಮೊದಲು ನೋಡಿದ ಪಾಯಿಂಟ್ ವೈಸ್-ಹೈಪೋಥೆಸಿಸ್ ಸ್ಥಿರತೆಗೆ ಸಮನಾಗಿರುತ್ತದೆ. ನಿರೀಕ್ಷಿತ-ಬಿಟ್ಟು-ಒಂದು-ಔಟ್ ದೋಷ () ಸ್ಥಿರತೆ ಪ್ರತಿ n ಗೆ a ಮತ್ತು ಅಂತಹ ಒಂದು ಅಸ್ತಿತ್ವದಲ್ಲಿದ್ದರೆ ಅಲ್ಗಾರಿದಮ್ ಸ್ಥಿರತೆಯನ್ನು ಹೊಂದಿರುತ್ತದೆಃ, ಬೌಸ್ಕೆಟ್ ಮತ್ತು ಎಲಿಸ್ಸೇಫ್ನಿಂದ ಕ್ಲಾಸಿಕ್ ಪ್ರಮೇಯಗಳಿಗೆ ಶೂನ್ಯದೊಂದಿಗೆ ಮತ್ತು ಹೋಗುವುದು (02): ಸೀಮಿತ ನಷ್ಟದೊಂದಿಗೆ ಸಮ್ಮಿತೀಯ ಕಲಿಕೆಯ ಅಲ್ಗಾರಿದಮ್ಗಳಿಗೆ, ಅಲ್ಗಾರಿದಮ್ ಮೇಲಿನ ಸಂಭವನೀಯ ವ್ಯಾಖ್ಯಾನದೊಂದಿಗೆ ಏಕರೂಪದ ಸ್ಥಿರತೆಯನ್ನು ಹೊಂದಿದ್ದರೆ, ಅಲ್ಗಾರಿದಮ್ ಸಾಮಾನ್ಯೀಕರಿಸುತ್ತದೆ. ಏಕರೂಪದ ಸ್ಥಿರತೆಯು ಒಂದು ಬಲವಾದ ಸ್ಥಿತಿಯಾಗಿದ್ದು, ಇದು ಎಲ್ಲಾ ಕ್ರಮಾವಳಿಗಳಿಂದ ಪೂರೈಸಲ್ಪಡುವುದಿಲ್ಲ ಆದರೆ ಆಶ್ಚರ್ಯಕರವಾಗಿ, ಕ್ರಮಬದ್ಧಗೊಳಿಸುವ ಕ್ರಮಾವಳಿಗಳ ದೊಡ್ಡ ಮತ್ತು ಪ್ರಮುಖ ವರ್ಗದಿಂದ ಪೂರೈಸಲ್ಪಡುತ್ತದೆ. ಸಾಮಾನ್ಯೀಕರಣದ ಮಿತಿಯನ್ನು ಲೇಖನದಲ್ಲಿ ನೀಡಲಾಗಿದೆ. ಮುಖರ್ಜಿ ಮತ್ತು ಇತರರು. (06): ಸೀಮಿತ ನಷ್ಟದೊಂದಿಗೆ ಸಮ್ಮಿತೀಯ ಕಲಿಕೆಯ ಕ್ರಮಾವಳಿಗಳಿಗೆ, ಕ್ರಮಾವಳಿಯು ಲೀವ್-ಒನ್-ಔಟ್ ಕ್ರಾಸ್-ವ್ಯಾಲಿಡೇಷನ್ (ಸಿ. ವಿ. ಲೂ) ಸ್ಥಿರತೆ ಮತ್ತು ನಿರೀಕ್ಷಿತ-ಲೀವ್-ಒನ್-ಔಟ್ ದೋಷ () ಮೇಲಿನ ವ್ಯಾಖ್ಯಾನದಂತೆ ಸ್ಥಿರತೆ ಎರಡನ್ನೂ ಹೊಂದಿದ್ದರೆ, ಕ್ರಮಾವಳಿಯು ಸಾಮಾನ್ಯೀಕರಿಸುತ್ತದೆ. ಸಾಮಾನ್ಯೀಕರಣಕ್ಕೆ ಯಾವುದೇ ಷರತ್ತು ಮಾತ್ರ ಸಾಕಾಗುವುದಿಲ್ಲ. ಆದಾಗ್ಯೂ, ಇವೆರಡೂ ಒಟ್ಟಾಗಿ ಸಾಮಾನ್ಯೀಕರಣವನ್ನು ಖಚಿತಪಡಿಸುತ್ತವೆ (ಆದರೆ ವ್ಯತಿರಿಕ್ತವು ನಿಜವಲ್ಲ). ಇಆರ್ಎಂ ಕ್ರಮಾವಳಿಗಳಿಗೆ ನಿರ್ದಿಷ್ಟವಾಗಿ (ಸ್ಕ್ವೇರ್ ಲಾಸ್ಗೆ ಹೇಳಿ), ಲೀವ್-ಒನ್-ಔಟ್ ಕ್ರಾಸ್-ವ್ಯಾಲಿಡೇಷನ್ (ಸಿ. ವಿ. ಲೂ) ಸ್ಥಿರತೆಯು ಸ್ಥಿರತೆ ಮತ್ತು ಸಾಮಾನ್ಯೀಕರಣಕ್ಕೆ ಅಗತ್ಯ ಮತ್ತು ಸಾಕಾಗುತ್ತದೆ. ಕಲಿಕೆಯ ಸಿದ್ಧಾಂತದ ಅಡಿಪಾಯಗಳಿಗೆ ಇದು ಒಂದು ಪ್ರಮುಖ ಫಲಿತಾಂಶವಾಗಿದೆ, ಏಕೆಂದರೆ ಇದು ಅಲ್ಗಾರಿದಮ್ನ ಎರಡು ಹಿಂದೆ ಸಂಬಂಧವಿಲ್ಲದ ಗುಣಲಕ್ಷಣಗಳಾದ ಸ್ಥಿರತೆ ಮತ್ತು ಸ್ಥಿರತೆಯು ಇ. ಆರ್. ಎಂ. ಗೆ (ಮತ್ತು ಕೆಲವು ನಷ್ಟದ ಕಾರ್ಯಗಳಿಗೆ) ಸಮಾನವಾಗಿದೆ ಎಂದು ತೋರಿಸುತ್ತದೆ. ಸಾಮಾನ್ಯೀಕರಣದ ಮಿತಿಯನ್ನು ಲೇಖನದಲ್ಲಿ ನೀಡಲಾಗಿದೆ. ಸ್ಥಿರವಾಗಿರುವ ಕ್ರಮಾವಳಿಗಳು ಇದು ಸ್ಥಿರವೆಂದು ತೋರಿಸಲಾದ ಕ್ರಮಾವಳಿಗಳ ಪಟ್ಟಿ ಮತ್ತು ಸಂಬಂಧಿತ ಸಾಮಾನ್ಯೀಕರಣದ ಮಿತಿಗಳನ್ನು ಒದಗಿಸಲಾದ ಲೇಖನವಾಗಿದೆ. ಲೀನಿಯರ್ ರಿಗ್ರೆಷನ್ ಕೆ-ಎನ್ಎನ್ ವರ್ಗೀಕರಣವು {0-1} ನಷ್ಟ ಕಾರ್ಯವನ್ನು ಹೊಂದಿದೆ. ಸೀಮಿತ ಕರ್ನಲ್ನೊಂದಿಗೆ ವೆಕ್ಟರ್ ಮೆಷಿನ್ (SVM) ವರ್ಗೀಕರಣವನ್ನು ಬೆಂಬಲಿಸಿ ಮತ್ತು ಪುನರುತ್ಪಾದಕ ಕರ್ನಲ್ ಹಿಲ್ಬರ್ಟ್ ಜಾಗದಲ್ಲಿ ನಿಯಮಿತಗೊಳಿಸುವಿಕೆಯು ಒಂದು ಮಾನದಂಡವಾಗಿದೆ. ದೊಡ್ಡ ಕ್ರಮಬದ್ಧಗೊಳಿಸುವಿಕೆಯ ಸ್ಥಿರತೆಯು ಉತ್ತಮ ಸ್ಥಿರತೆಗೆ ಕಾರಣವಾಗುತ್ತದೆ. ಸಾಫ್ಟ್ ಮಾರ್ಜಿನ್ SVM ವರ್ಗೀಕರಣ. ನಿಯಮಿತವಾದ ಕನಿಷ್ಠ ಚೌಕಗಳ ಹಿಂಜರಿತ. ವರ್ಗೀಕರಣಕ್ಕಾಗಿ ಕನಿಷ್ಠ ಸಾಪೇಕ್ಷ ಎಂಟ್ರೊಪಿ ಅಲ್ಗಾರಿದಮ್. ಬ್ಯಾಗಿಂಗ್ ರೆಗ್ಯುಲರೈಸರ್ಗಳ ಒಂದು ಆವೃತ್ತಿಯು ರಿಗ್ರೆಸರ್ಗಳ ಸಂಖ್ಯೆಯನ್ನು ಹೆಚ್ಚಿಸುತ್ತದೆ. ಬಹು-ವರ್ಗದ ಎಸ್. ವಿ. ಎಂ ವರ್ಗೀಕರಣ. ಟಿಖೋನೋವ್ ಕ್ರಮಬದ್ಧಗೊಳಿಸುವಿಕೆಯೊಂದಿಗಿನ ಎಲ್ಲಾ ಕಲಿಕಾ ಕ್ರಮಾವಳಿಗಳು ಏಕರೂಪದ ಸ್ಥಿರತೆಯ ಮಾನದಂಡಗಳನ್ನು ಪೂರೈಸುತ್ತವೆ ಮತ್ತು ಆದ್ದರಿಂದ, ಸಾಮಾನ್ಯೀಕರಿಸಬಹುದಾದವುಗಳಾಗಿವೆ. ಹೆಚ್ಚಿನ ಓದುವಿಕೆ S.Kutin ಮತ್ತು P.Niyogi.Almost-everywhere ಕ್ರಮಾವಳಿ ಸ್ಥಿರತೆ ಮತ್ತು ಸಾಮಾನ್ಯೀಕರಣ ದೋಷ. ಪ್ರೋಕ್ನಲ್ಲಿ. ಯು. ಎ. ಐ. 18,2002ರ ಎಸ್. ರಾಖ್ಲಿನ್, ಎಸ್. ಮುಖರ್ಜಿ ಮತ್ತು ಟಿ. ಪೊಗ್ಗಿಯೋ. ಸ್ಥಿರತೆಯು ಕಲಿಕೆಯ ಸಿದ್ಧಾಂತಕ್ಕೆ ಕಾರಣವಾಗುತ್ತದೆ. ವಿಶ್ಲೇಷಣೆ ಮತ್ತು ಅನ್ವಯಗಳು, 3 (4): 397-419,2005 ವಿ. ಎನ್. ವಾಪ್ನಿಕ್. ಸಂಖ್ಯಾಶಾಸ್ತ್ರೀಯ ಕಲಿಕೆಯ ಸಿದ್ಧಾಂತದ ಸ್ವರೂಪ. ಸ್ಪ್ರಿಂಗರ್, 1995 ವಾಪನಿಕ್, ವಿ., ಸ್ಟ್ಯಾಟಿಸ್ಟಿಕಲ್ ಲರ್ನಿಂಗ್ ಥಿಯರಿ. ವಿಲೇ, ನ್ಯೂಯಾರ್ಕ್, 1998 ಪೊಗ್ಗಿಯೋ, ಟಿ., ರಿಫ್ಕಿನ್, ಆರ್., ಮುಖರ್ಜಿ, ಎಸ್. ಮತ್ತು ನಿಯೋಗಿ, ಪಿ., "ಲರ್ನಿಂಗ್ ಥಿಯರಿಃ ಜನರಲ್ ಕಂಡಿಷನ್ಸ್ ಫಾರ್ ಪ್ರಿಡಿಕ್ಟಿವಿಟಿ", ನೇಚರ್, ಸಂಪುಟ. 428, 419-422,2004 ಆಂಡ್ರೆ ಎಲಿಸ್ಸೆಫ್, ಥಿಯೋಡೋರೋಸ್ ಎವ್ಜೆನಿಯೊ, ಮಾಸಿಮಿಲಿಯಾನೋ ಪಾಂಟಿಲ್, ಯಾದೃಚ್ಛಿಕ ಕಲಿಕೆಯ ಕ್ರಮಾವಳಿಗಳ ಸ್ಥಿರತೆ, ಜರ್ನಲ್ ಆಫ್ ಮೆಷಿನ್ ಲರ್ನಿಂಗ್ ರಿಸರ್ಚ್ 6,55-79,2010 ಎಲಿಸ್ಸೆಫ್, ಎ. ಪಾಂಟಿಲ್, ಎಂ., ಲೀವ್-ಒನ್-ಔಟ್ ಎರರ್ ಮತ್ತು ಅಪ್ಲಿಕೇಶನ್ಗಳೊಂದಿಗೆ ಕಲಿಕೆಯ ಕ್ರಮಾವಳಿಗಳ ಸ್ಥಿರತೆ, ನ್ಯಾಟೋ ಸೈನ್ಸ್ ಸೀರೀಸ್ ಸಬ್ ಸೀರೀಸ್ III ಕಂಪ್ಯೂಟರ್ ಮತ್ತು ಸಿಸ್ಟಮ್ಸ್ ಸೈನ್ಸ್, 2003, VOL 190, ಪುಟಗಳು 111-130 ಶೈಲೇವ್ ಶ್ವಾರ್ಟ್ಜ್, S., ಶಮೀರ್, O., ಸ್ರೆಬ್ರೋ, N., ಶ್ರೀಧರನ್, K.