Learning rule
ಕೃತಕ ನರ ಜಾಲದ ಕಲಿಕೆಯ ನಿಯಮ ಅಥವಾ ಕಲಿಕೆಯ ಪ್ರಕ್ರಿಯೆಯು ಜಾಲದ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು/ಅಥವಾ ತರಬೇತಿ ಸಮಯವನ್ನು ಸುಧಾರಿಸುವ ಒಂದು ವಿಧಾನ, ಗಣಿತದ ತರ್ಕ ಅಥವಾ ಕ್ರಮಾವಳಿ. ಸಾಮಾನ್ಯವಾಗಿ, ಈ ನಿಯಮವನ್ನು ಜಾಲಬಂಧದಲ್ಲಿ ಪದೇ ಪದೇ ಅನ್ವಯಿಸಲಾಗುತ್ತದೆ. ನಿರ್ದಿಷ್ಟ ದತ್ತಾಂಶ ಪರಿಸರದಲ್ಲಿ ಜಾಲಬಂಧವನ್ನು ಅನುಕರಿಸಿದಾಗ ಜಾಲಬಂಧದ ತೂಕ ಮತ್ತು ಪಕ್ಷಪಾತದ ಮಟ್ಟವನ್ನು ನವೀಕರಿಸುವ ಮೂಲಕ ಇದನ್ನು ಮಾಡಲಾಗುತ್ತದೆ. ಕಲಿಕೆಯ ನಿಯಮವು ಜಾಲಬಂಧದ ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಪರಿಸ್ಥಿತಿಗಳನ್ನು (ತೂಕ ಮತ್ತು ಪಕ್ಷಪಾತಗಳು) ಸ್ವೀಕರಿಸಬಹುದು ಮತ್ತು ತೂಕ ಮತ್ತು ಪಕ್ಷಪಾತಕ್ಕೆ ಹೊಸ ಮತ್ತು ಸುಧಾರಿತ ಮೌಲ್ಯಗಳನ್ನು ನೀಡಲು ಜಾಲಬಂಧದ ನಿರೀಕ್ಷಿತ ಫಲಿತಾಂಶ ಮತ್ತು ನಿಜವಾದ ಫಲಿತಾಂಶವನ್ನು ಹೋಲಿಸುತ್ತದೆ. ನೈಜ ಮಾದರಿಯನ್ನು ಅನುಕರಿಸುವ ಸಂಕೀರ್ಣತೆಯನ್ನು ಅವಲಂಬಿಸಿ, ಜಾಲಬಂಧದ ಕಲಿಕೆಯ ನಿಯಮವು XOR ಗೇಟ್ನಷ್ಟು ಸರಳವಾಗಿರಬಹುದು ಅಥವಾ ಸರಾಸರಿ ವರ್ಗ ದೋಷವಾಗಿರಬಹುದು ಅಥವಾ ಭೇದಾತ್ಮಕ ಸಮೀಕರಣಗಳ ವ್ಯವಸ್ಥೆಯ ಪರಿಣಾಮವಾಗಿ ಸಂಕೀರ್ಣವಾಗಿರಬಹುದು. ಕಲಿಕೆಯ ನಿಯಮವು ಕೃತಕ ಜಾಲವನ್ನು ಎಷ್ಟು ವೇಗವಾಗಿ ಅಥವಾ ಎಷ್ಟು ನಿಖರವಾಗಿ ಅಭಿವೃದ್ಧಿಪಡಿಸಬಹುದು ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸುವ ಅಂಶಗಳಲ್ಲಿ ಒಂದಾಗಿದೆ. ಜಾಲಬಂಧವನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸುವ ಪ್ರಕ್ರಿಯೆಯನ್ನು ಅವಲಂಬಿಸಿ ಯಂತ್ರ ಕಲಿಕೆಯ ಮೂರು ಮುಖ್ಯ ಮಾದರಿಗಳಿವೆಃ ಮೇಲ್ವಿಚಾರಣೆಯಿಲ್ಲದ ಕಲಿಕೆ ಮೇಲ್ವಿಚಾರಣೆಯ ಕಲಿಕೆ ಬಲವರ್ಧನೆಯ ಕಲಿಕೆಯ ಹಿನ್ನೆಲೆ ಯಂತ್ರ ಕಲಿಕೆಯಲ್ಲಿನ ಬಹಳಷ್ಟು ಕಲಿಕಾ ವಿಧಾನಗಳು ಪರಸ್ಪರ ಹೋಲುತ್ತವೆ ಮತ್ತು ಪರಸ್ಪರ ಆಧರಿಸಿವೆ, ಇದು ಅವುಗಳನ್ನು ಸ್ಪಷ್ಟ ವರ್ಗಗಳಲ್ಲಿ ವರ್ಗೀಕರಿಸಲು ಕಷ್ಟವಾಗುತ್ತದೆ. ಆದರೆ ಅವುಗಳನ್ನು 4 ವರ್ಗಗಳ ಕಲಿಕಾ ವಿಧಾನಗಳಲ್ಲಿ ವಿಶಾಲವಾಗಿ ಅರ್ಥೈಸಿಕೊಳ್ಳಬಹುದು, ಆದಾಗ್ಯೂ ಈ ವರ್ಗಗಳಿಗೆ ಸ್ಪಷ್ಟವಾದ ಗಡಿಗಳಿಲ್ಲ ಮತ್ತು ಅವು ಕಲಿಕಾ ವಿಧಾನಗಳ ಅನೇಕ ವರ್ಗಗಳಿಗೆ ಸೇರಿವೆ-ಹೆಬಿಯನ್-ನಿಯೋಕಾಗ್ನಿಟ್ರಾನ್, ಬ್ರೈನ್-ಸ್ಟೇಟ್-ಇನ್-ಎ-ಬಾಕ್ಸ್ ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್-ಅಡಾಲೈನ್, ಹಾಪ್ಫೀಲ್ಡ್ ನೆಟ್ವರ್ಕ್, ರಿಕರೆಂಟ್ ನ್ಯೂರಲ್ ನೆಟ್ವರ್ಕ್ ಕಾಂಪಿಟೇಟಿವ್-ಲರ್ನಿಂಗ್ ವೆಕ್ಟರ್ ಕ್ವಾಂಟೈಸೇಶನ್, ಸೆಲ್ಫ್-ಆರ್ಗನೈಸಿಂಗ್ ಫೀಚರ್ ಮ್ಯಾಪ್, ಅಡಾಪ್ಟಿವ್ ರೆಸೋನೆನ್ಸ್ ಥಿಯರಿ-ಬೊಲ್ಟ್ಜ್ಮನ್ ಮೆಷಿನ್, ಕೌಚಿ ಮೆಷಿನ್ ಈ ಕಲಿಕಾ ನಿಯಮಗಳು ಒಂದೇ ರೀತಿಯ ಆಲೋಚನೆಗಳನ್ನು ಆಧರಿಸಿವೆ ಎಂದು ತೋರುತ್ತದೆಯಾದರೂ, ಅವು ಹಿಂದಿನ ನಿಯಮಕ್ಕಿಂತ ಸಾಮಾನ್ಯೀಕರಣ ಅಥವಾ ಅನ್ವಯವಾಗಿರುವುದರಿಂದ ಸೂಕ್ಷ್ಮ ವ್ಯತ್ಯಾಸಗಳನ್ನು ಹೊಂದಿವೆ ಮತ್ತು ಆದ್ದರಿಂದ ಅವುಗಳನ್ನು ಪ್ರತ್ಯೇಕವಾಗಿ ಅಧ್ಯಯನ ಮಾಡುವುದು ಅರ್ಥಪೂರ್ಣವಾಗಿದೆ. ಜೈವಿಕ ನರಕೋಶದ ದಹನವನ್ನು ವಿವರಿಸಲು 1949ರಲ್ಲಿ ಡೋನಾಲ್ಡ್ ಹೆಬ್ ಅಭಿವೃದ್ಧಿಪಡಿಸಿದ ಹೆಬಿಯನ್ ಕಲಿಕೆ. 1950ರ ದಶಕದ ಮಧ್ಯಭಾಗದಲ್ಲಿ ಇದನ್ನು ನರ ಜಾಲಗಳ ಕಂಪ್ಯೂಟರ್ ಸಿಮ್ಯುಲೇಶನ್ಗಳಿಗೂ ಅನ್ವಯಿಸಲಾಯಿತು. ಅಲ್ಲಿ ಕಲಿಕೆಯ ಪ್ರಮಾಣವನ್ನು ಪ್ರತಿನಿಧಿಸುತ್ತದೆ, ನರಕೋಶದ ಇನ್ಪುಟ್ ಅನ್ನು ಪ್ರತಿನಿಧಿಸುತ್ತದೆ ಮತ್ತು y ಎಂಬುದು ನರಕೋಶದ ಔಟ್ಪುಟ್ ಆಗಿದೆ. ಹೆಬ್ಬನ ಆಳ್ವಿಕೆಯು ಅದರ ಮೂಲ ರೂಪದಲ್ಲಿ ಅಸ್ಥಿರವಾಗಿದೆ ಎಂದು ತೋರಿಸಲಾಗಿದೆ. ಓಜಾಸ್ ರೂಲ್, ಬಿಸಿಎಂ ಸಿದ್ಧಾಂತವು ಜೈವಿಕ ನರಕೋಶಗಳ ಅಧ್ಯಯನದಲ್ಲಿ ಹೆಬ್ಬ್ಸ್ ರೂಲ್ನ ಮೇಲೆ ಅಥವಾ ಅದರ ಪಕ್ಕದಲ್ಲಿ ನಿರ್ಮಿಸಲಾದ ಇತರ ಕಲಿಕೆಯ ನಿಯಮಗಳಾಗಿವೆ. ಪರ್ಸೆಪ್ಟ್ರಾನ್ ಲರ್ನಿಂಗ್ ರೂಲ್ (ಪಿಎಲ್ಆರ್) ಪರ್ಸೆಪ್ಟ್ರಾನ್ ಕಲಿಕೆಯ ನಿಯಮವು ಹೆಬಿಯನ್ ಊಹೆಯಿಂದ ಹುಟ್ಟಿಕೊಂಡಿದೆ ಮತ್ತು ಇದನ್ನು ಫ್ರಾಂಕ್ ರೋಸೆನ್ಬ್ಲಾಟ್ ಅವರು 1958 ರಲ್ಲಿ ತಮ್ಮ ಪರ್ಸೆಪ್ಟ್ರಾನ್ನಲ್ಲಿ ಬಳಸಿದರು. ನಿವ್ವಳವನ್ನು ಸಕ್ರಿಯಗೊಳಿಸುವ (ವರ್ಗಾವಣೆ) ಕಾರ್ಯಕ್ಕೆ ರವಾನಿಸಲಾಗುತ್ತದೆ ಮತ್ತು ಕಾರ್ಯದ ಔಟ್ಪುಟ್ ಅನ್ನು ತೂಕವನ್ನು ಸರಿಹೊಂದಿಸಲು ಬಳಸಲಾಗುತ್ತದೆ. ಕಲಿಕೆಯ ಸಂಕೇತವು ಅಪೇಕ್ಷಿತ ಪ್ರತಿಕ್ರಿಯೆ ಮತ್ತು ನರಕೋಶದ ನಿಜವಾದ ಪ್ರತಿಕ್ರಿಯೆಯ ನಡುವಿನ ವ್ಯತ್ಯಾಸವಾಗಿದೆ. ಹಂತ ಕಾರ್ಯವನ್ನು ಸಾಮಾನ್ಯವಾಗಿ ಸಕ್ರಿಯಗೊಳಿಸುವ ಕಾರ್ಯವಾಗಿ ಬಳಸಲಾಗುತ್ತದೆ, ಮತ್ತು ಔಟ್ಪುಟ್ಗಳನ್ನು ಸಾಮಾನ್ಯವಾಗಿ-1,0, ಅಥವಾ 1 ಕ್ಕೆ ಸೀಮಿತಗೊಳಿಸಲಾಗಿದೆ. ತೂಕಗಳನ್ನು ನವೀಕರಿಸಲಾಗುತ್ತದೆ, ಅಲ್ಲಿ "ಟಿ" ಗುರಿ ಮೌಲ್ಯವಾಗಿದೆ ಮತ್ತು "ಒ" ಎಂಬುದು ಪರ್ಸೆಪ್ಟ್ರಾನ್ನ ಔಟ್ಪುಟ್ ಆಗಿದೆ, ಮತ್ತು ಇದನ್ನು ಕಲಿಕೆಯ ದರ ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ. ಅಲ್ಗಾರಿದಮ್ ಸರಿಯಾದ ವರ್ಗೀಕರಣಕ್ಕೆ ಒಮ್ಮುಖವಾಗುತ್ತದೆಃ ತರಬೇತಿ ದತ್ತಾಂಶವು ರೇಖೀಯವಾಗಿ ಬೇರ್ಪಡಿಸಬಲ್ಲದು * ಸಾಕಷ್ಟು ಚಿಕ್ಕದಾಗಿದೆ (ಆದರೂ ಚಿಕ್ಕದು ಎಂದರೆ ಸಾಮಾನ್ಯವಾಗಿ ದೀರ್ಘ ಕಲಿಕೆಯ ಸಮಯ ಮತ್ತು ಹೆಚ್ಚು ಯುಗಗಳು ಎಂದರ್ಥ) * ಈ ಕಲಿಕೆಯ ನಿಯಮದೊಂದಿಗೆ ಒಂದೇ ಪದರದ ಪರ್ಸೆಪ್ಟ್ರಾನ್ ರೇಖೀಯವಾಗಿ ಬೇರ್ಪಡಿಸಲಾಗದ ಒಳಹರಿವಿನ ಮೇಲೆ ಕೆಲಸ ಮಾಡಲು ಅಸಮರ್ಥವಾಗಿದೆ ಎಂಬುದನ್ನು ಸಹ ಗಮನಿಸಬೇಕು ಮತ್ತು ಆದ್ದರಿಂದ ಈ ನಿಯಮವನ್ನು ಮಾತ್ರ ಬಳಸಿಕೊಂಡು XOR ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸಲಾಗುವುದಿಲ್ಲ 1970 ರಲ್ಲಿ ಬ್ಯಾಕ್ಪ್ರೊಪಗೇಷನ್ ಸೆಪ್ಪೋ ಲಿನ್ನೈನ್ಮಾ ಬ್ಯಾಕ್ಪ್ರೊಪಗೇಷನ್ ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಿದೆ ಎಂದು ಹೇಳಲಾಗುತ್ತದೆ ಆದರೆ ಅಲ್ಗಾರಿದಮ್ನ ಮೂಲಗಳು 1960 ರ ದಶಕದಲ್ಲಿ ಅನೇಕ ಕೊಡುಗೆಗಳೊಂದಿಗೆ ಹಿಂತಿರುಗುತ್ತವೆ. ಇದು ಲೀನಿಯರ್ ಪರ್ಸೆಪ್ಟ್ರಾನ್ ಮತ್ತು ಡೆಲ್ಟಾ ಲರ್ನಿಂಗ್ ರೂಲ್ನಲ್ಲಿ ಕನಿಷ್ಠ ಸರಾಸರಿ ಚೌಕಗಳ ಅಲ್ಗಾರಿದಮ್ನ ಸಾಮಾನ್ಯೀಕರಣವಾಗಿದೆ. ಇದು ಸಂಭಾವ್ಯ ಜಾಲಬಂಧ ತೂಕಗಳ ಮೂಲಕ ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ ಹುಡುಕಾಟವನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸುತ್ತದೆ, ಗುರಿ ಮೌಲ್ಯಗಳು ಮತ್ತು ಜಾಲಬಂಧ ಉತ್ಪನ್ನಗಳ ನಡುವೆ ದೋಷವನ್ನು ಪುನರಾವರ್ತಿತವಾಗಿ ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. ವಿಡ್ರೋ-ಹಾಫ್ ಲರ್ನಿಂಗ್ (ಡೆಲ್ಟಾ ಲರ್ನಿಂಗ್ ರೂಲ್) ಪೆರ್ಸೆಪ್ಟ್ರಾನ್ ಕಲಿಕೆಯ ನಿಯಮವನ್ನು ಹೋಲುತ್ತದೆ ಆದರೆ ವಿಭಿನ್ನ ಮೂಲವನ್ನು ಹೊಂದಿದೆ. ಇದನ್ನು ಅಡಾಲೈನ್ ಜಾಲಬಂಧದಲ್ಲಿ ಬಳಸಲು ಅಭಿವೃದ್ಧಿಪಡಿಸಲಾಯಿತು, ಇದು ಮುಖ್ಯವಾಗಿ ತರಬೇತಿಯ ವಿಷಯದಲ್ಲಿ ಪರ್ಸೆಪ್ಟ್ರಾನ್ನಿಂದ ಭಿನ್ನವಾಗಿದೆ. ತೂಕಗಳನ್ನು ಇನ್ಪುಟ್ಗಳ (ನಿವ್ವಳ) ತೂಕದ ಮೊತ್ತಕ್ಕೆ ಅನುಗುಣವಾಗಿ ಸರಿಹೊಂದಿಸಲಾಗುತ್ತದೆ, ಆದರೆ ಪರ್ಸೆಪ್ಟ್ರಾನ್ನಲ್ಲಿ ತೂಕದ ಮೊತ್ತದ ಚಿಹ್ನೆಯು ಔಟ್ಪುಟ್ ಅನ್ನು ನಿರ್ಧರಿಸಲು ಉಪಯುಕ್ತವಾಗಿದೆ ಏಕೆಂದರೆ ಮಿತಿಯನ್ನು 0,-1, ಅಥವಾ + 1 ಎಂದು ನಿಗದಿಪಡಿಸಲಾಗಿದೆ. ಇದು ಅಡಾಲೈನ್ ಅನ್ನು ಸಾಮಾನ್ಯ ಪರ್ಸೆಪ್ಟ್ರಾನ್ನಿಂದ ಭಿನ್ನವಾಗಿಸುತ್ತದೆ. ಡೆಲ್ಟಾ ನಿಯಮವು (ಡಿಆರ್) ಕೆಲವು ವ್ಯತ್ಯಾಸಗಳೊಂದಿಗೆ ಪರ್ಸೆಪ್ಟ್ರಾನ್ ಲರ್ನಿಂಗ್ ರೂಲ್ (ಪಿಎಲ್ಆರ್) ಅನ್ನು ಹೋಲುತ್ತದೆಃ ಡಿಆರ್ನಲ್ಲಿನ ದೋಷವು (δ) 0,1, ಅಥವಾ-1 (ಪಿಎಲ್ಆರ್ನಲ್ಲಿರುವಂತೆ) ಮೌಲ್ಯಗಳನ್ನು ಹೊಂದಲು ಸೀಮಿತವಾಗಿಲ್ಲ, ಆದರೆ ಯಾವುದೇ ವಿಭಿನ್ನವಾದ ಔಟ್ಪುಟ್/ಆಕ್ಟಿವೇಶನ್ ಫಂಕ್ಷನ್ ಎಫ್ಗೆ ಯಾವುದೇ ಮೌಲ್ಯವನ್ನು ಡಿಆರ್ ಪಡೆಯಬಹುದು, ಆದರೆ ಪಿಎಲ್ಆರ್ನಲ್ಲಿ ಮಿತಿ ಔಟ್ಪುಟ್ ಫಂಕ್ಷನ್ಗೆ ಮಾತ್ರ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ಡೆಲ್ಟಾ ನಿಯಮವನ್ನು ಬ್ಯಾಕ್-ಪ್ರೊಪಗೇಷನ್ ಅಲ್ಗಾರಿದಮ್ನ ವಿಶೇಷ ಪ್ರಕರಣವೆಂದು ಪರಿಗಣಿಸಲಾಗಿದೆ. ಡೆಲ್ಟಾ ನಿಯಮವು ರೆಸ್ಕೋರ್ಲಾ-ವ್ಯಾಗ್ನರ್ ಮಾದರಿಯನ್ನು ನಿಕಟವಾಗಿ ಹೋಲುತ್ತದೆ, ಅದರ ಅಡಿಯಲ್ಲಿ ಪಾವ್ಲೋವಿಯನ್ ಕಂಡೀಷನಿಂಗ್ ಸಂಭವಿಸುತ್ತದೆ. ಸ್ಪರ್ಧಾತ್ಮಕ ಕಲಿಕೆಯನ್ನು ಹೆಬಿಯನ್ ಕಲಿಕೆಯ ಒಂದು ರೂಪಾಂತರವೆಂದು ಪರಿಗಣಿಸಲಾಗುತ್ತದೆ, ಆದರೆ ಇದನ್ನು ಪ್ರತ್ಯೇಕವಾಗಿ ಚರ್ಚಿಸುವಷ್ಟು ವಿಶೇಷವಾಗಿದೆ. ನೆಟ್ವರ್ಕ್ನಲ್ಲಿನ ಪ್ರತಿ ನೋಡ್ನ ವಿಶೇಷತೆಯನ್ನು ಹೆಚ್ಚಿಸುವ ಮೂಲಕ ಸ್ಪರ್ಧಾತ್ಮಕ ಕಲಿಕೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ದತ್ತಾಂಶದೊಳಗೆ ಸಮೂಹಗಳನ್ನು ಕಂಡುಹಿಡಿಯಲು ಇದು ಸೂಕ್ತವಾಗಿದೆ. ಸ್ಪರ್ಧಾತ್ಮಕ ಕಲಿಕೆಯ ತತ್ವವನ್ನು ಆಧರಿಸಿದ ಮಾದರಿಗಳು ಮತ್ತು ಕ್ರಮಾವಳಿಗಳು ವೆಕ್ಟರ್ ಕ್ವಾಂಟೈಸೇಶನ್ ಮತ್ತು ಸ್ವಯಂ-ಸಂಘಟಿಸುವ ನಕ್ಷೆಗಳನ್ನು (ಕೊಹೊನೆನ್ ನಕ್ಷೆಗಳು) ಒಳಗೊಂಡಿವೆ. ಯಂತ್ರ ಕಲಿಕೆ ನಿರ್ಧಾರ ಮರ ಕಲಿಕೆ ಮಾದರಿ ಗುರುತಿಸುವಿಕೆ ಬಯಾಸ್-ವೇರಿಯೆನ್ಸ್ ಸಂದಿಗ್ಧತೆ ಅಂದಾಜುಗಾರನ ಬಯಾಸ್ ಎಕ್ಸ್ಪೆಕ್ಟೇಷನ್-ಮ್ಯಾಕ್ಸಿಮೈಸೇಶನ್ ಅಲ್ಗಾರಿದಮ್ ಅಲ್ಗಾರಿದಮ್ ಉಲ್ಲೇಖಗಳು ಕೃತಕ ನರ ಜಾಲಗಳ ಕಲಿಕೆ