Thompson sampling
ವಿಲಿಯಂ ಆರ್. ಥಾಂಪ್ಸನ್ ಅವರ ಹೆಸರಿನಿಂದ ಕರೆಯಲ್ಪಡುವ ಥಾಂಪ್ಸನ್ ಸ್ಯಾಂಪ್ಲಿಂಗ್, ಬಹು-ಸಶಸ್ತ್ರ ದರೋಡೆಕೋರರ ಸಮಸ್ಯೆಯಲ್ಲಿನ ಪರಿಶೋಧನೆ-ಶೋಷಣೆಯ ಸಂದಿಗ್ಧತೆಯನ್ನು ಪರಿಹರಿಸುವ ಕ್ರಿಯೆಗಳನ್ನು ಆಯ್ಕೆ ಮಾಡಲು ಒಂದು ಶೋಧಕವಾಗಿದೆ. ಇದು ಯಾದೃಚ್ಛಿಕವಾಗಿ ಪಡೆದ ನಂಬಿಕೆಗೆ ಸಂಬಂಧಿಸಿದಂತೆ ನಿರೀಕ್ಷಿತ ಪ್ರತಿಫಲವನ್ನು ಹೆಚ್ಚಿಸುವ ಕ್ರಿಯೆಯನ್ನು ಆಯ್ಕೆ ಮಾಡುವುದನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ. ವಿವರಣೆ ಸಂದರ್ಭಗಳ ಒಂದು ಸೆಟ್, ಕ್ರಿಯೆಗಳ ಒಂದು ಸೆಟ್ ಮತ್ತು ಪ್ರತಿಫಲಗಳನ್ನು ಪರಿಗಣಿಸಿ. ಸಂಚಿತ ಬಹುಮಾನಗಳನ್ನು ಗರಿಷ್ಠಗೊಳಿಸುವಂತಹ ವಿವಿಧ ಸಂದರ್ಭಗಳಲ್ಲಿ ಕ್ರಿಯೆಗಳನ್ನು ಆಡುವುದು ಆಟಗಾರನ ಗುರಿಯಾಗಿದೆ. ನಿರ್ದಿಷ್ಟವಾಗಿ ಹೇಳುವುದಾದರೆ, ಪ್ರತಿ ಸುತ್ತಿನಲ್ಲಿ, ಆಟಗಾರನು ಒಂದು ಸಂದರ್ಭವನ್ನು ಪಡೆಯುತ್ತಾನೆ, ಒಂದು ಕ್ರಿಯೆಯನ್ನು ಆಡುತ್ತಾನೆ ಮತ್ತು ಸಂದರ್ಭ ಮತ್ತು ನೀಡಲಾದ ಕ್ರಿಯೆಯನ್ನು ಅವಲಂಬಿಸಿರುವ ವಿತರಣೆಯ ನಂತರ ಬಹುಮಾನವನ್ನು ಪಡೆಯುತ್ತಾನೆ. ಥಾಂಪ್ಸನ್ ಸ್ಯಾಂಪ್ಲಿಂಗ್ನ ಅಂಶಗಳು ಈ ಕೆಳಗಿನಂತಿವೆಃ ಸಂಭವನೀಯತೆಯ ಕಾರ್ಯ; ವಿತರಣೆಯ ನಿಯತಾಂಕಗಳ ಒಂದು ಸೆಟ್; ಈ ನಿಯತಾಂಕಗಳ ಮೇಲೆ ಪೂರ್ವ ವಿತರಣೆ; ಹಿಂದಿನ ಅವಲೋಕನಗಳು ಮೂರು ಪಟ್ಟು; ಹಿಂಭಾಗದ ವಿತರಣೆ, ಸಂಭವನೀಯತೆಯ ಕಾರ್ಯ ಎಲ್ಲಿದೆ. ಥಾಂಪ್ಸನ್ ಸ್ಯಾಂಪ್ಲಿಂಗ್ ನಿರೀಕ್ಷಿತ ಪ್ರತಿಫಲವನ್ನು ಹೆಚ್ಚಿಸುವ ಸಂಭವನೀಯತೆಗೆ ಅನುಗುಣವಾಗಿ ಕ್ರಿಯೆಯನ್ನು ಆಡುವುದನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ; ಸೂಚಕ ಕಾರ್ಯ ಎಲ್ಲಿದೆ ಎಂಬುದರ ಸಂಭವನೀಯತೆಯೊಂದಿಗೆ ಕ್ರಿಯೆಯನ್ನು ಆಯ್ಕೆ ಮಾಡಲಾಗುತ್ತದೆ. ಆಚರಣೆಯಲ್ಲಿ, ಈ ನಿಯಮವನ್ನು ಸ್ಯಾಂಪ್ಲಿಂಗ್ ಮೂಲಕ ಜಾರಿಗೆ ತರಲಾಗುತ್ತದೆ. ಪ್ರತಿ ಸುತ್ತಿನಲ್ಲಿ, ನಿಯತಾಂಕಗಳನ್ನು ಹಿಂಭಾಗದಿಂದ ಮಾದರಿ ಮಾಡಲಾಗುತ್ತದೆ, ಮತ್ತು ಗರಿಷ್ಠಗೊಳಿಸುವ ಕ್ರಿಯೆಯನ್ನು ಆಯ್ಕೆ ಮಾಡಲಾಗುತ್ತದೆ, ಅಂದರೆ. ಮಾದರಿ ನಿಯತಾಂಕಗಳು, ಕ್ರಿಯೆ ಮತ್ತು ಪ್ರಸ್ತುತ ಸನ್ನಿವೇಶವನ್ನು ನೀಡಿದ ನಿರೀಕ್ಷಿತ ಪ್ರತಿಫಲ. ಪರಿಕಲ್ಪನಾತ್ಮಕವಾಗಿ, ಇದರರ್ಥ ಆಟಗಾರನು ಪ್ರತಿ ಸುತ್ತಿನಲ್ಲಿ ಹಿಂಭಾಗದ ವಿತರಣೆಯ ಪ್ರಕಾರ ಯಾದೃಚ್ಛಿಕವಾಗಿ ತಮ್ಮ ನಂಬಿಕೆಗಳನ್ನು ತ್ವರಿತಗೊಳಿಸುತ್ತಾನೆ ಮತ್ತು ನಂತರ ಅವುಗಳ ಪ್ರಕಾರ ಅತ್ಯುತ್ತಮವಾಗಿ ವರ್ತಿಸುತ್ತಾನೆ. ಹೆಚ್ಚಿನ ಪ್ರಾಯೋಗಿಕ ಅನ್ವಯಿಕೆಗಳಲ್ಲಿ, ಮಾದರಿಗಳ ಮೇಲಿನ ನಂತರದ ವಿತರಣೆಯಿಂದ ನಿರ್ವಹಿಸುವುದು ಮತ್ತು ಮಾದರಿಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳುವುದು ಗಣನೆಗೆ ಕಷ್ಟಕರವಾಗಿದೆ. ಅಂತೆಯೇ, ಥಾಂಪ್ಸನ್ ಸ್ಯಾಂಪ್ಲಿಂಗ್ ಅನ್ನು ಸಾಮಾನ್ಯವಾಗಿ ಅಂದಾಜು ಸ್ಯಾಂಪ್ಲಿಂಗ್ ತಂತ್ರಗಳೊಂದಿಗೆ ಬಳಸಲಾಗುತ್ತದೆ. ಇತಿಹಾಸ ಥಾಂಪ್ಸನ್ ಮಾದರಿಯನ್ನು ಮೂಲತಃ 1933 ರಲ್ಲಿ ಥಾಂಪ್ಸನ್ ವಿವರಿಸಿದ್ದಾರೆ. ತರುವಾಯ ಬಹು-ಸಶಸ್ತ್ರ ದರೋಡೆಕೋರರ ಸಮಸ್ಯೆಗಳ ಹಿನ್ನೆಲೆಯಲ್ಲಿ ಇದನ್ನು ಸ್ವತಂತ್ರವಾಗಿ ಹಲವಾರು ಬಾರಿ ಮರುಶೋಧಿಸಲಾಯಿತು. ದರೋಡೆಕೋರರ ಪ್ರಕರಣದ ಒಮ್ಮುಖದ ಮೊದಲ ಪುರಾವೆಯನ್ನು 1997ರಲ್ಲಿ ತೋರಿಸಲಾಗಿದೆ. ಮಾರ್ಕೋವ್ ನಿರ್ಧಾರ ಪ್ರಕ್ರಿಯೆಗಳಿಗೆ ಮೊದಲ ಅಪ್ಲಿಕೇಶನ್ 2000 ರಲ್ಲಿ ಆಗಿತ್ತು. ಸಂಬಂಧಿತ ವಿಧಾನವನ್ನು (ಬಯೇಸಿಯನ್ ನಿಯಂತ್ರಣ ನಿಯಮವನ್ನು ನೋಡಿ) 2010ರಲ್ಲಿ ಪ್ರಕಟಿಸಲಾಯಿತು. ಥಾಂಪ್ಸನ್ ಸ್ಯಾಂಪ್ಲಿಂಗ್ ತಕ್ಷಣವೇ ಸ್ವಯಂ-ಸರಿಪಡಿಸುತ್ತದೆ ಎಂದು 2010ರಲ್ಲಿ ತೋರಿಸಲಾಗಿದೆ. ಸಂದರ್ಭೋಚಿತ ದರೋಡೆಕೋರರಿಗೆ ಲಕ್ಷಣರಹಿತ ಒಮ್ಮುಖದ ಫಲಿತಾಂಶಗಳನ್ನು 2011ರಲ್ಲಿ ಪ್ರಕಟಿಸಲಾಯಿತು. ಥಾಂಪ್ಸನ್ ಸ್ಯಾಂಪ್ಲಿಂಗ್ ಅನ್ನು ವೆಬ್ಸೈಟ್ ವಿನ್ಯಾಸ ಮತ್ತು ಆನ್ಲೈನ್ ಜಾಹೀರಾತಿನಲ್ಲಿ ಎ/ಬಿ ಪರೀಕ್ಷೆ ಮತ್ತು ವಿಕೇಂದ್ರೀಕೃತ ನಿರ್ಧಾರ ತೆಗೆದುಕೊಳ್ಳುವಲ್ಲಿ ವೇಗವರ್ಧಿತ ಕಲಿಕೆ ಸೇರಿದಂತೆ ಅನೇಕ ಆನ್ಲೈನ್ ಕಲಿಕೆಯ ಸಮಸ್ಯೆಗಳಲ್ಲಿ ವ್ಯಾಪಕವಾಗಿ ಬಳಸಲಾಗಿದೆ. ಸಾಂಪ್ರದಾಯಿಕ ಎಂಎಬಿಯ ರೂಪಾಂತರವಾದ ದ್ವಂದ್ವ ದರೋಡೆಕೋರರಿಗಾಗಿ ಡಬಲ್ ಥಾಂಪ್ಸನ್ ಸ್ಯಾಂಪ್ಲಿಂಗ್ (ಡಿ-ಟಿಎಸ್) ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ಪ್ರಸ್ತಾಪಿಸಲಾಗಿದೆ, ಅಲ್ಲಿ ಪ್ರತಿಕ್ರಿಯೆಯು ಜೋಡಿಯಾಗಿ ಹೋಲಿಕೆಯ ರೂಪದಲ್ಲಿ ಬರುತ್ತದೆ. ಇತರ ವಿಧಾನಗಳೊಂದಿಗಿನ ಸಂಬಂಧ ಸಂಭವನೀಯತೆ ಹೊಂದಾಣಿಕೆಯು ಒಂದು ನಿರ್ಧಾರ ತಂತ್ರವಾಗಿದ್ದು, ಇದರಲ್ಲಿ ವರ್ಗ ಸದಸ್ಯತ್ವದ ಮುನ್ಸೂಚನೆಗಳು ವರ್ಗ ಮೂಲ ದರಗಳಿಗೆ ಅನುಪಾತದಲ್ಲಿರುತ್ತವೆ. ಹೀಗಾಗಿ, ತರಬೇತಿ ಸೆಟ್ನಲ್ಲಿ ಧನಾತ್ಮಕ ಉದಾಹರಣೆಗಳನ್ನು ಶೇಕಡ 60ರಷ್ಟು ಬಾರಿ ಗಮನಿಸಿದರೆ ಮತ್ತು ಋಣಾತ್ಮಕ ಉದಾಹರಣೆಗಳನ್ನು ಶೇಕಡ 40ರಷ್ಟು ಬಾರಿ ಗಮನಿಸಿದರೆ, ಸಂಭವನೀಯತೆ-ಹೊಂದಾಣಿಕೆಯ ತಂತ್ರವನ್ನು ಬಳಸುವ ವೀಕ್ಷಕರು ಶೇಕಡ 60ರಷ್ಟು ನಿದರ್ಶನಗಳಲ್ಲಿ "ಧನಾತ್ಮಕ" ದ ವರ್ಗ ಲೇಬಲ್ ಅನ್ನು ಮತ್ತು ಶೇಕಡ 40ರಷ್ಟು ನಿದರ್ಶನಗಳಲ್ಲಿ "ಋಣಾತ್ಮಕ" ದ ವರ್ಗ ಲೇಬಲ್ ಅನ್ನು ಊಹಿಸುತ್ತಾರೆ (ಲೇಬಲ್ ಮಾಡದ ಉದಾಹರಣೆಗಳಿಗಾಗಿ). ಬೇಯೇಶಿಯನ್ ನಿಯಂತ್ರಣ ನಿಯಮ ಎಂದು ಕರೆಯಲ್ಪಡುವ ಅನಿಯಂತ್ರಿತ ಕ್ರಿಯಾತ್ಮಕ ಪರಿಸರಗಳು ಮತ್ತು ಸಾಂದರ್ಭಿಕ ರಚನೆಗಳಿಗೆ ಥಾಂಪ್ಸನ್ ಮಾದರಿಯ ಸಾಮಾನ್ಯೀಕರಣವು ಕ್ರಿಯೆಗಳು ಮತ್ತು ಅವಲೋಕನಗಳೊಂದಿಗೆ ಹೊಂದಾಣಿಕೆಯ ಕೋಡಿಂಗ್ ಸಮಸ್ಯೆಗೆ ಅತ್ಯುತ್ತಮ ಪರಿಹಾರವೆಂದು ತೋರಿಸಲಾಗಿದೆ. ಈ ಸೂತ್ರೀಕರಣದಲ್ಲಿ, ಏಜೆಂಟ್ ಅನ್ನು ನಡವಳಿಕೆಗಳ ಗುಂಪಿನ ಮೇಲೆ ಮಿಶ್ರಣವಾಗಿ ಪರಿಕಲ್ಪಿಸಲಾಗುತ್ತದೆ. ಏಜೆಂಟ್ ತನ್ನ ಪರಿಸರದೊಂದಿಗೆ ಸಂವಹನ ನಡೆಸುತ್ತಿದ್ದಂತೆ, ಅದು ಕಾರಣ ಗುಣಲಕ್ಷಣಗಳನ್ನು ಕಲಿಯುತ್ತದೆ ಮತ್ತು ಪರಿಸರದ ನಡವಳಿಕೆಯ ಅತ್ಯುತ್ತಮ ಮುನ್ಸೂಚನೆಯೊಂದಿಗೆ ನಡವಳಿಕೆಗೆ ಸಂಬಂಧಿತ ಎಂಟ್ರೊಪಿಯನ್ನು ಕಡಿಮೆ ಮಾಡುವ ನಡವಳಿಕೆಯನ್ನು ಅಳವಡಿಸಿಕೊಳ್ಳುತ್ತದೆ. ಈ ನಡವಳಿಕೆಗಳನ್ನು ಗರಿಷ್ಠ ನಿರೀಕ್ಷಿತ ಉಪಯುಕ್ತತೆಯ ತತ್ವದ ಪ್ರಕಾರ ಆಯ್ಕೆ ಮಾಡಿದ್ದರೆ, ಬಯೇಸಿಯನ್ ನಿಯಂತ್ರಣ ನಿಯಮದ ಅಸಿಂಪ್ಟೋಟಿಕ್ ನಡವಳಿಕೆಯು ಸಂಪೂರ್ಣವಾಗಿ ತರ್ಕಬದ್ಧ ಏಜೆಂಟ್ನ ಅಸಿಂಪ್ಟೋಟಿಕ್ ನಡವಳಿಕೆಗೆ ಹೊಂದಿಕೆಯಾಗುತ್ತದೆ. ಸೆಟಪ್ ಈ ಕೆಳಗಿನಂತಿದೆ. ಕಾಲಕಾಲಕ್ಕೆ ಏಜೆಂಟ್ ಹೊರಡಿಸಿದ ಕ್ರಮಗಳಾಗಿರಲಿ ಮತ್ತು ಕಾಲಕಾಲಕ್ಕೆ ಏಜೆಂಟ್ ಸಂಗ್ರಹಿಸಿದ ಅವಲೋಕನಗಳಾಗಿರಲಿ. ನಂತರ, ಏಜೆಂಟ್ ಸಂಭವನೀಯತೆಯೊಂದಿಗೆ ಕ್ರಿಯೆಯನ್ನು ನೀಡುತ್ತಾನೆಃ ಅಲ್ಲಿ "ಟೋಪಿ"-ಸಂಕೇತವು ಸಾಮಾನ್ಯ ವೀಕ್ಷಣೆಯಲ್ಲ, ಅದು ಸಾಂದರ್ಭಿಕ ಹಸ್ತಕ್ಷೇಪವಾಗಿದೆ (ಕಾರಣವನ್ನು ನೋಡಿ) ಎಂಬ ಅಂಶವನ್ನು ಸೂಚಿಸುತ್ತದೆ. ಏಜೆಂಟ್ ತನ್ನ ನಡವಳಿಕೆಗಳ ಮೇಲೆ ನಂಬಿಕೆಗಳನ್ನು ಹೊಂದಿದ್ದರೆ, ನಂತರ ಬಯೇಸಿಯನ್ ನಿಯಂತ್ರಣ ನಿಯಮವು ಆಗುತ್ತದೆ, ನೀಡಿದ ಕ್ರಿಯೆಗಳು ಮತ್ತು ಅವಲೋಕನಗಳ ಮೇಲೆ ನಿಯತಾಂಕದ ನಂತರದ ವಿತರಣೆ ಎಲ್ಲಿದೆ. ಪ್ರಾಯೋಗಿಕವಾಗಿ, ಬಯೇಸಿಯನ್ ನಿಯಂತ್ರಣವು ಪ್ರತಿ ಸಮಯದ ಹಂತದಲ್ಲೂ, ಹಿಂಭಾಗದ ವಿತರಣೆಯ ಒಂದು ನಿಯತಾಂಕವಾಗಿದೆ, ಅಲ್ಲಿ ಅವಲೋಕನಗಳ (ಸಾಂದರ್ಭಿಕ) ಸಾಧ್ಯತೆಗಳನ್ನು ಮಾತ್ರ ಪರಿಗಣಿಸುವ ಮೂಲಕ ಮತ್ತು ಕ್ರಿಯೆಗಳ (ಸಾಂದರ್ಭಿಕ) ಸಾಧ್ಯತೆಗಳನ್ನು ನಿರ್ಲಕ್ಷಿಸುವ ಮೂಲಕ ಮತ್ತು ನಂತರ ಕ್ರಿಯೆ ವಿತರಣೆಯಿಂದ ಕ್ರಿಯೆಯನ್ನು ಸ್ಯಾಂಪಲ್ ಮಾಡುವ ಮೂಲಕ ಬಯೇಸ್ನ ನಿಯಮವನ್ನು ಬಳಸಿಕೊಂಡು ಹಿಂಭಾಗದ ವಿತರಣೆಯನ್ನು ಲೆಕ್ಕಹಾಕಲಾಗುತ್ತದೆ. ಅಪ್ಪರ್-ಕಾನ್ಫಿಡೆನ್ಸ್-ಬೌಂಡ್ (ಯು. ಸಿ. ಬಿ) ಕ್ರಮಾವಳಿಗಳು ಥಾಂಪ್ಸನ್ ಸ್ಯಾಂಪ್ಲಿಂಗ್ ಮತ್ತು ಅಪ್ಪರ್-ಕಾನ್ಫಿಡೆನ್ಸ್ ಬೌಂಡ್ ಕ್ರಮಾವಳಿಗಳು ಅವುಗಳ ಅನೇಕ ಸೈದ್ಧಾಂತಿಕ ಖಾತರಿಗಳಿಗೆ ಆಧಾರವಾಗಿರುವ ಮೂಲಭೂತ ಗುಣಲಕ್ಷಣವನ್ನು ಹಂಚಿಕೊಳ್ಳುತ್ತವೆ. ಸ್ಥೂಲವಾಗಿ ಹೇಳುವುದಾದರೆ, ಎರಡೂ ಕ್ರಮಾವಳಿಗಳು ಸೂಕ್ತವಾದ ಮತ್ತು ಈ ಅರ್ಥದಲ್ಲಿ "ಆಶಾವಾದಿ" ಆಗಿರುವ ಕ್ರಿಯೆಗಳಿಗೆ ಪರಿಶೋಧನಾತ್ಮಕ ಪ್ರಯತ್ನವನ್ನು ನಿಯೋಜಿಸುತ್ತವೆ. ಈ ಗುಣಲಕ್ಷಣವನ್ನು ಬಳಸಿಕೊಂಡು, ಯು. ಸಿ. ಬಿ ಕ್ರಮಾವಳಿಗಳಿಗಾಗಿ ಸ್ಥಾಪಿಸಲಾದ ವಿಷಾದದ ಮಿತಿಗಳನ್ನು ಥಾಂಪ್ಸನ್ ಸ್ಯಾಂಪ್ಲಿಂಗ್ಗಾಗಿ ಬೇಯೇಶಿಯನ್ ವಿಷಾದದ ಮಿತಿಗಳಿಗೆ ಭಾಷಾಂತರಿಸಬಹುದು ಅಥವಾ ಈ ಕ್ರಮಾವಳಿಗಳು ಮತ್ತು ಅನೇಕ ವರ್ಗದ ಸಮಸ್ಯೆಗಳೆರಡರಲ್ಲೂ ವಿಷಾದದ ವಿಶ್ಲೇಷಣೆಯನ್ನು ಏಕೀಕರಿಸಬಹುದು. ಉಲ್ಲೇಖಗಳು ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆ ಶೋಧನಾ ಕ್ರಮಾವಳಿಗಳು ಅನುಕ್ರಮ ವಿಧಾನಗಳು ಅನುಕ್ರಮ ಪ್ರಯೋಗಗಳು