Elastic net regularization
ಅಂಕಿಅಂಶಗಳಲ್ಲಿ ಮತ್ತು, ನಿರ್ದಿಷ್ಟವಾಗಿ, ರೇಖೀಯ ಅಥವಾ ಲಾಜಿಸ್ಟಿಕ್ ಹಿಂಜರಿತ ಮಾದರಿಗಳ ಅಳವಡಿಕೆಯಲ್ಲಿ, ಸ್ಥಿತಿಸ್ಥಾಪಕ ಜಾಲವು ಲಾಸ್ಸೊ ಮತ್ತು ರಿಡ್ಜ್ ವಿಧಾನಗಳ ಎಲ್ 1 ಮತ್ತು ಎಲ್ 2 ದಂಡಗಳನ್ನು ರೇಖೀಯವಾಗಿ ಸಂಯೋಜಿಸುವ ಕ್ರಮಬದ್ಧ ಹಿಂಜರಿತ ವಿಧಾನವಾಗಿದೆ. ನಿರ್ದಿಷ್ಟತೆ ಎಲಾಸ್ಟಿಕ್ ನೆಟ್ ವಿಧಾನವು ಲಾಸ್ಸೋ (ಕನಿಷ್ಠ ಸಂಪೂರ್ಣ ಕುಗ್ಗುವಿಕೆ ಮತ್ತು ಆಯ್ಕೆ ನಿರ್ವಾಹಕ) ವಿಧಾನದ ಮಿತಿಗಳನ್ನು ಮೀರಿಸುತ್ತದೆ, ಇದು ಈ ಪೆನಾಲ್ಟಿ ಕಾರ್ಯದ ಬಳಕೆಯ ಆಧಾರದ ಮೇಲೆ ಪೆನಾಲ್ಟಿ ಕಾರ್ಯವನ್ನು ಬಳಸುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, "ದೊಡ್ಡ p, ಸಣ್ಣ n" ಪ್ರಕರಣದಲ್ಲಿ (ಕೆಲವು ಉದಾಹರಣೆಗಳೊಂದಿಗೆ ಉನ್ನತ-ಆಯಾಮದ ದತ್ತಾಂಶ), ಲಾಸೋ ಅದು ಸ್ಯಾಚುರೇಟ್ ಆಗುವ ಮೊದಲು ಹೆಚ್ಚಿನ n ಅಸ್ಥಿರಗಳನ್ನು ಆಯ್ಕೆ ಮಾಡುತ್ತದೆ. ಹೆಚ್ಚು ಪರಸ್ಪರ ಸಂಬಂಧ ಹೊಂದಿರುವ ಚಲಪರಿಮಾಣಗಳ ಗುಂಪು ಇದ್ದರೆ, ಲಾಸೋ ಒಂದು ಗುಂಪಿನಿಂದ ಒಂದು ಚಲಪರಿಮಾಣವನ್ನು ಆಯ್ಕೆ ಮಾಡಲು ಮತ್ತು ಇತರರನ್ನು ನಿರ್ಲಕ್ಷಿಸಲು ಒಲವು ತೋರುತ್ತದೆ. ಈ ಮಿತಿಗಳನ್ನು ನಿವಾರಿಸಲು, ಎಲಾಸ್ಟಿಕ್ ನೆಟ್ ಪೆನಾಲ್ಟಿಗೆ ಕ್ವಾಡ್ರಾಟಿಕ್ ಭಾಗವನ್ನು () ಸೇರಿಸುತ್ತದೆ, ಇದನ್ನು ಏಕಾಂಗಿಯಾಗಿ ಬಳಸಿದಾಗ ರಿಡ್ಜ್ ರಿಗ್ರೆಷನ್ (ಟಿಖೋನೋವ್ ರೆಗ್ಯುಲರೈಸೇಶನ್ ಎಂದೂ ಕರೆಯಲಾಗುತ್ತದೆ). ಎಲಾಸ್ಟಿಕ್ ನೆಟ್ ವಿಧಾನದ ಅಂದಾಜುಗಳನ್ನು ಹೀಗೆ ವ್ಯಾಖ್ಯಾನಿಸಲಾಗಿದೆಃ ಕ್ವಾಡ್ರಾಟಿಕ್ ಪೆನಾಲ್ಟಿ ಪದವು ನಷ್ಟದ ಕಾರ್ಯವನ್ನು ಬಲವಾಗಿ ಕನ್ವೆಕ್ಸ್ ಮಾಡುತ್ತದೆ ಮತ್ತು ಆದ್ದರಿಂದ ಇದು ವಿಶಿಷ್ಟವಾದ ಕನಿಷ್ಠವನ್ನು ಹೊಂದಿದೆ. ಸ್ಥಿತಿಸ್ಥಾಪಕ ನಿವ್ವಳ ವಿಧಾನವು ಲಾಸ್ಸೋ ಮತ್ತು ರಿಡ್ಜ್ ರಿಗ್ರೆಷನ್ ಅನ್ನು ಒಳಗೊಂಡಿದೆಃ ಬೇರೆ ರೀತಿಯಲ್ಲಿ ಹೇಳುವುದಾದರೆ, ಅವುಗಳಲ್ಲಿ ಪ್ರತಿಯೊಂದೂ ಒಂದು ವಿಶೇಷ ಪ್ರಕರಣವಾಗಿದೆ. ಏತನ್ಮಧ್ಯೆ, ಸ್ಥಿತಿಸ್ಥಾಪಕ ನಿವ್ವಳ ವಿಧಾನದ ನಿಷ್ಕಪಟ ಆವೃತ್ತಿಯು ಎರಡು ಹಂತದ ಪ್ರಕ್ರಿಯೆಯಲ್ಲಿ ಅಂದಾಜುದಾರನನ್ನು ಕಂಡುಕೊಳ್ಳುತ್ತದೆಃ ಮೊದಲು ಪ್ರತಿ ಸ್ಥಿರಕ್ಕೆ ಅದು ರಿಡ್ಜ್ ರಿಗ್ರೆಷನ್ ಗುಣಾಂಕಗಳನ್ನು ಕಂಡುಕೊಳ್ಳುತ್ತದೆ, ಮತ್ತು ನಂತರ ಲಾಸೋ ರೀತಿಯ ಕುಗ್ಗುವಿಕೆಯನ್ನು ಮಾಡುತ್ತದೆ. ಈ ರೀತಿಯ ಅಂದಾಜು ದ್ವಿಗುಣ ಪ್ರಮಾಣದ ಕುಗ್ಗುವಿಕೆಯನ್ನು ಉಂಟುಮಾಡುತ್ತದೆ, ಇದು ಹೆಚ್ಚಿದ ಪಕ್ಷಪಾತ ಮತ್ತು ಕಳಪೆ ಭವಿಷ್ಯವಾಣಿಗಳಿಗೆ ಕಾರಣವಾಗುತ್ತದೆ. ಮುನ್ಸೂಚನೆಯ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸುಧಾರಿಸಲು, ಕೆಲವೊಮ್ಮೆ ಸ್ಥಿತಿಸ್ಥಾಪಕ ಜಾಲದ ನಿಷ್ಕಪಟ ಆವೃತ್ತಿಯ ಗುಣಾಂಕಗಳನ್ನು ಅಂದಾಜು ಗುಣಾಂಕಗಳನ್ನು ಗುಣಿಸುವ ಮೂಲಕ ಮರುಬಳಕೆ ಮಾಡಲಾಗುತ್ತದೆ. ಎಲಾಸ್ಟಿಕ್ ನೆಟ್ ವಿಧಾನವನ್ನು ಎಲ್ಲಿ ಅನ್ವಯಿಸಲಾಗಿದೆ ಎಂಬುದಕ್ಕೆ ಉದಾಹರಣೆಗಳೆಂದರೆಃ ವೆಕ್ಟರ್ ಯಂತ್ರವನ್ನು ಬೆಂಬಲಿಸಿ ಮೆಟ್ರಿಕ್ ಲರ್ನಿಂಗ್ ಪೋರ್ಟ್ಫೋಲಿಯೋ ಆಪ್ಟಿಮೈಸೇಶನ್ ವೆಕ್ಟರ್ ಯಂತ್ರವನ್ನು ಬೆಂಬಲಿಸಲು ಕ್ಯಾನ್ಸರ್ ಮುನ್ನರಿವು ಕಡಿತ 2014 ರ ಕೊನೆಯಲ್ಲಿ, ಎಲಾಸ್ಟಿಕ್ ನೆಟ್ ಅನ್ನು ರೇಖೀಯ ಬೆಂಬಲ ವೆಕ್ಟರ್ ಯಂತ್ರಕ್ಕೆ ಕಡಿಮೆ ಮಾಡಬಹುದು ಎಂದು ಸಾಬೀತಾಯಿತು. ಇದೇ ರೀತಿಯ ಕಡಿತವು ಈ ಹಿಂದೆ 2014 ರಲ್ಲಿ ಲಾಸೋದಲ್ಲಿ ಸಾಬೀತಾಗಿತ್ತು. ಸ್ಥಿತಿಸ್ಥಾಪಕ ಜಾಲದ ಪ್ರತಿಯೊಂದು ನಿದರ್ಶನಕ್ಕೂ, ರೇಖೀಯ ಬೆಂಬಲ ವಾಹಕ ಯಂತ್ರದ (ಎಸ್ವಿಎಂ) ಹೈಪರ್-ಪ್ಲೇನ್ ಪರಿಹಾರವು ಪರಿಹಾರಕ್ಕೆ (ಮರು-ಸ್ಕೇಲಿಂಗ್ ನಂತರ) ಹೋಲುವಂತಹ ಕೃತಕ ಬೈನರಿ ವರ್ಗೀಕರಣ ಸಮಸ್ಯೆಯನ್ನು ನಿರ್ಮಿಸಬಹುದು ಎಂದು ಲೇಖಕರು ತೋರಿಸಿದರು. ಈ ಕಡಿತವು ತಕ್ಷಣವೇ ಸ್ಥಿತಿಸ್ಥಾಪಕ ನಿವ್ವಳ ಸಮಸ್ಯೆಗಳಿಗೆ ಹೆಚ್ಚು ಆಪ್ಟಿಮೈಸ್ಡ್ ಎಸ್. ವಿ. ಎಂ. ಪರಿಹಾರಗಳನ್ನು ಬಳಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ. ಇದು ಜಿಪಿಯು ವೇಗವರ್ಧನೆಯ ಬಳಕೆಯನ್ನು ಸಹ ಶಕ್ತಗೊಳಿಸುತ್ತದೆ, ಇದನ್ನು ಈಗಾಗಲೇ ದೊಡ್ಡ ಪ್ರಮಾಣದ ಎಸ್ವಿಎಂ ಪರಿಹಾರಕಗಳಿಗೆ ಬಳಸಲಾಗುತ್ತದೆ. ಕಡಿತವು ಮೂಲ ದತ್ತಾಂಶ ಮತ್ತು ಕ್ರಮಬದ್ಧಗೊಳಿಸುವಿಕೆಯ ಸ್ಥಿರಾಂಕಗಳನ್ನು ಹೊಸ ಕೃತಕ ದತ್ತಾಂಶ ನಿದರ್ಶನಗಳಾಗಿ ಸರಳವಾಗಿ ಪರಿವರ್ತಿಸುತ್ತದೆ ಮತ್ತು ಬೈನರಿ ವರ್ಗೀಕರಣ ಸಮಸ್ಯೆ ಮತ್ತು ಎಸ್. ವಿ. ಎಂ ಕ್ರಮಬದ್ಧಗೊಳಿಸುವಿಕೆಯ ಸ್ಥಿರಾಂಕವನ್ನು ನಿರ್ದಿಷ್ಟಪಡಿಸುವ ಕ್ರಮಬದ್ಧಗೊಳಿಸುವಿಕೆಯ ಸ್ಥಿರಾಂಕವಾಗಿದೆ. ಪ್ರೈಮಲ್ನಲ್ಲಿ ರೇಖೀಯ ಎಸ್. ವಿ. ಎಂ ಅನ್ನು ಪರಿಹರಿಸಲು ಸಾಮಾನ್ಯವಾಗಿ ವೇಗವಾದಾಗ, ಇಲ್ಲದಿದ್ದರೆ ಡ್ಯುಯಲ್ ಸೂತ್ರೀಕರಣವು ವೇಗವಾಗಿರುತ್ತದೆ. ಕೆಲವು ಲೇಖಕರು ಈ ರೂಪಾಂತರವನ್ನು ಬೆಂಬಲ ವಾಹಕ ಸ್ಥಿತಿಸ್ಥಾಪಕ ಜಾಲ (SVEN) ಎಂದು ಉಲ್ಲೇಖಿಸಿದ್ದಾರೆ ಮತ್ತು ಈ ಕೆಳಗಿನ MATLAB ಹುಸಿ-ಸಂಕೇತವನ್ನು ಒದಗಿಸಿದ್ದಾರೆಃ ಕಾರ್ಯ β = SVEN (X, y, t, λ2); [n, p] = ಗಾತ್ರ (X); X2 = [bsxfun (@minus, X, y./t); bsxfun (@plus, X, y./t)] '; Y2 = [ಒನ್ಸ್ (ಒನ್ಸ್ (p, 1);-ಒನ್ಸ್ (p, 1)]; 2p> n ಆಗಿದ್ದರೆ w = SVMPRIMAL (X2, Y2, C = 1/(2 * λ2) * (X2 * w), 0); ಇಲ್ಲದಿದ್ದರೆ α = SVMDual (X2, Y2, C = 1/(2 * λ2)); β = t * (α (1: p)-α (p + 1:2p))/ಮೊತ್ತ (α) ಆಗಿದ್ದರೆ ಕೊನೆಗೊಳ್ಳುತ್ತದೆ; ತಂತ್ರಾಂಶ "Glmnet: Lasso ಮತ್ತು ಸ್ಥಿತಿಸ್ಥಾಪಕ-ನಿವ್ವಳ ನಿಯಮಿತವಾದ ಸಾಮಾನ್ಯೀಕೃತ ರೇಖೀಯ ಮಾದರಿಗಳು" ಎಂಬುದು ಒಂದು ತಂತ್ರಾಂಶವಾಗಿದ್ದು, ಇದನ್ನು R ಮೂಲ ಪ್ಯಾಕೇಜ್ ಆಗಿ ಮತ್ತು MATLAB ಟೂಲ್ಬಾಕ್ಸ್ ಆಗಿ ಕಾರ್ಯಗತಗೊಳಿಸಲಾಗುತ್ತದೆ. ಇದು ಎಲ್1 (ಲಾಸ್ಸೊ), ಎಲ್2 (ರಿಡ್ಜ್ ರಿಗ್ರೆಷನ್) ಯೊಂದಿಗೆ ಸಾಮಾನ್ಯೀಕೃತ ರೇಖೀಯ ಮಾದರಿಗಳ ಅಂದಾಜುಗಾಗಿ ವೇಗದ ಕ್ರಮಾವಳಿಗಳನ್ನು ಮತ್ತು ಕ್ರಮಬದ್ಧಗೊಳಿಸುವ ಮಾರ್ಗದಲ್ಲಿ ಗಣಿಸಲಾದ ಆವರ್ತಕ ನಿರ್ದೇಶಾಂಕದ ಇಳಿಯುವಿಕೆಯನ್ನು ಬಳಸಿಕೊಂಡು ಎರಡು ಪೆನಾಲ್ಟಿಗಳ (ಸ್ಥಿತಿಸ್ಥಾಪಕ ನಿವ್ವಳ) ಮಿಶ್ರಣಗಳನ್ನು ಒಳಗೊಂಡಿದೆ. ಜೆಎಂಪಿ ಪ್ರೊ 11 ಸ್ಥಿತಿಸ್ಥಾಪಕ ನಿವ್ವಳ ಕ್ರಮಬದ್ಧಗೊಳಿಸುವಿಕೆಯನ್ನು ಒಳಗೊಂಡಿದೆ, ಇದು ಫಿಟ್ ಮಾಡೆಲ್ನೊಂದಿಗೆ ಸಾಮಾನ್ಯ ರಿಗ್ರೆಷನ್ ವ್ಯಕ್ತಿತ್ವವನ್ನು ಬಳಸುತ್ತದೆ. "ಪೆನ್ಸಿಮ್ಃ ಉನ್ನತ-ಆಯಾಮದ ದತ್ತಾಂಶದ ಸಿಮ್ಯುಲೇಶನ್ ಮತ್ತು ಸಮಾನಾಂತರವಾದ ಪುನರಾವರ್ತಿತ ಪೆನಲೈಸ್ಡ್ ರಿಗ್ರೆಷನ್" ಎಲ್ ನಿಯತಾಂಕಗಳ ಪರ್ಯಾಯ, ಸಮಾನಾಂತರವಾದ "2ಡಿ" ಟ್ಯೂನಿಂಗ್ ವಿಧಾನವನ್ನು ಜಾರಿಗೆ ತರುತ್ತದೆ, ಇದು ಸುಧಾರಿತ ಮುನ್ಸೂಚನೆಯ ನಿಖರತೆಗೆ ಕಾರಣವಾಗುತ್ತದೆ ಎಂದು ಹೇಳಲಾಗುತ್ತದೆ. ಸ್ಕಿಕಿಟ್-ಲರ್ನ್ ರೇಖೀಯ ಹಿಂಜರಿತ, ಲಾಜಿಸ್ಟಿಕ್ ಹಿಂಜರಿತ ಮತ್ತು ಸ್ಥಿತಿಸ್ಥಾಪಕ ನಿವ್ವಳ ಕ್ರಮಬದ್ಧಗೊಳಿಸುವಿಕೆಯೊಂದಿಗೆ ರೇಖೀಯ ಬೆಂಬಲ ವೆಕ್ಟರ್ ಯಂತ್ರಗಳನ್ನು ಒಳಗೊಂಡಿದೆ. SVEN, ಬೆಂಬಲ ವಾಹಕ ಸ್ಥಿತಿಸ್ಥಾಪಕ ಜಾಲದ ಮ್ಯಾಟ್ಲ್ಯಾಬ್ ಅನುಷ್ಠಾನವಾಗಿದೆ. ಈ ಪರಿಹಾರಕವು ಎಲಾಸ್ಟಿಕ್ ನೆಟ್ ಸಮಸ್ಯೆಯನ್ನು ಎಸ್ವಿಎಂ ಬೈನರಿ ವರ್ಗೀಕರಣದ ಉದಾಹರಣೆಯಾಗಿ ಕಡಿಮೆ ಮಾಡುತ್ತದೆ ಮತ್ತು ಪರಿಹಾರವನ್ನು ಕಂಡುಹಿಡಿಯಲು ಮ್ಯಾಟ್ಲ್ಯಾಬ್ ಎಸ್ವಿಎಂ ಪರಿಹಾರಕವನ್ನು ಬಳಸುತ್ತದೆ. ಎಸ್. ವಿ. ಎಂ. ಅನ್ನು ಸುಲಭವಾಗಿ ಸಮಾನಾಂತರಗೊಳಿಸಬಹುದಾದ್ದರಿಂದ, ಕೋಡ್ ಆಧುನಿಕ ಯಂತ್ರಾಂಶದಲ್ಲಿ ಜಿಎಲ್ಎಂನೆಟ್ಗಿಂತ ವೇಗವಾಗಿರುತ್ತದೆ. ಸ್ಪಾಎಸ್ಎಮ್, ಸ್ಥಿತಿಸ್ಥಾಪಕ ನಿವ್ವಳ ನಿಯಮಿತ ಹಿಂಜರಿತವನ್ನು ಒಳಗೊಂಡಂತೆ ವಿರಳ ಹಿಂಜರಿತ, ವರ್ಗೀಕರಣ ಮತ್ತು ಪ್ರಧಾನ ಘಟಕ ವಿಶ್ಲೇಷಣೆಯ ಮ್ಯಾಟ್ಲ್ಯಾಬ್ ಅನುಷ್ಠಾನವಾಗಿದೆ. ಅಪಾಚೆ ಸ್ಪಾರ್ಕ್ ತನ್ನ ಎಂಎಲ್ಐಬಿ ಮೆಷಿನ್ ಲರ್ನಿಂಗ್ ಲೈಬ್ರರಿಯಲ್ಲಿ ಎಲಾಸ್ಟಿಕ್ ನೆಟ್ ರಿಗ್ರೆಷನ್ಗೆ ಬೆಂಬಲವನ್ನು ಒದಗಿಸುತ್ತದೆ. ಈ ವಿಧಾನವು ಹೆಚ್ಚು ಸಾಮಾನ್ಯವಾದ ಲೀನಿಯರ್ ರಿಗ್ರೆಷನ್ ವರ್ಗದ ನಿಯತಾಂಕವಾಗಿ ಲಭ್ಯವಿದೆ. ಎಸ್. ಎ. ಎಸ್. (ಸಾಫ್ಟ್ವೇರ್) ಎಸ್. ಎ. ಎಸ್. ಕಾರ್ಯವಿಧಾನವಾದ ಜಿ. ಎಲ್. ಎಂ. ಸೆಲೆಕ್ಟ್ ಮತ್ತು ಎಸ್. ಎ. ಎಸ್. ವಯಾ ಕಾರ್ಯವಿಧಾನವಾದ ರೆಗ್ಸೆಲೆಕ್ಟ್ ಮಾದರಿ ಆಯ್ಕೆಗಾಗಿ ಸ್ಥಿತಿಸ್ಥಾಪಕ ನಿವ್ವಳ ಕ್ರಮಬದ್ಧಗೊಳಿಸುವಿಕೆಯ ಬಳಕೆಯನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ. ಹೆಚ್ಚಿನ ಓದುವ ಉಲ್ಲೇಖಗಳು ಎಲಾಸ್ಟಿಕ್ ನೆಟ್ ಮೂಲಕ ಕ್ರಮಬದ್ಧಗೊಳಿಸುವಿಕೆ ಮತ್ತು ವೇರಿಯೇಬಲ್ ಆಯ್ಕೆ (ಪ್ರಸ್ತುತಿ) ಲಾಜಿಸ್ಟಿಕ್ ರಿಗ್ರೆಷನ್ ರಿಗ್ರೆಷನ್ ಅನಾಲಿಸಿಸ್ ಯಂತ್ರ ಕಲಿಕೆಯ ಕ್ರಮಾವಳಿಗಳು