Perceiver
ಪರ್ಸೀವರ್ ಎಂಬುದು ಚಿತ್ರಗಳು, ಶಬ್ದಗಳು ಮತ್ತು ವೀಡಿಯೊ ಮತ್ತು ಪ್ರಾದೇಶಿಕ ದತ್ತಾಂಶಗಳಂತಹ ಪಠ್ಯೇತರ ದತ್ತಾಂಶವನ್ನು ಸಂಸ್ಕರಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುವ ಟ್ರಾನ್ಸ್ಫಾರ್ಮರ್ ಆಗಿದೆ. ಟ್ರಾನ್ಸ್ಫಾರ್ಮರ್ಗಳು ಪರ್ಸೀವರ್ಗಿಂತ ಮುಂಚಿನ ಬಿಇಆರ್ಟಿ ಮತ್ತು ಜಿಪಿಟಿ-3ರಂತಹ ಇತರ ಗಮನಾರ್ಹ ವ್ಯವಸ್ಥೆಗಳಿಗೆ ಆಧಾರವಾಗಿವೆ. ಇದು ಸುಪ್ತ ಅಡಚಣೆಯೊಳಗೆ ಒಳಹರಿವನ್ನು ಬಟ್ಟಿ ಇಳಿಸಲು ಅಸಮವಾದ ಗಮನ ಕಾರ್ಯವಿಧಾನವನ್ನು ಅಳವಡಿಸಿಕೊಳ್ಳುತ್ತದೆ, ಇದು ದೊಡ್ಡ ಪ್ರಮಾಣದ ವೈವಿಧ್ಯಮಯ ದತ್ತಾಂಶದಿಂದ ಕಲಿಯಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ. ಪರ್ಸೀವರ್ ವರ್ಗೀಕರಣ ಕಾರ್ಯಗಳಲ್ಲಿ ವಿಶೇಷ ಮಾದರಿಗಳನ್ನು ಹೊಂದಿಸುತ್ತದೆ ಅಥವಾ ಮೀರಿಸುತ್ತದೆ. ಪರ್ಸೀವರ್ ಅನ್ನು ಜೂನ್ 2021 ರಲ್ಲಿ ಡೀಪ್ ಮೈಂಡ್ ಪರಿಚಯಿಸಿತು. ಇದನ್ನು ಆಗಸ್ಟ್ 2021 ರಲ್ಲಿ ಪರ್ಸೀವರ್ ಐಒ ಅನುಸರಿಸಿತು. ಡಿಸೈನ್ ಪರ್ಸಿವರ್ ಅನ್ನು ವಿಧಾನ-ನಿರ್ದಿಷ್ಟ ಅಂಶಗಳಿಲ್ಲದೆ ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ. ಉದಾಹರಣೆಗೆ, ಇದು ಚಿತ್ರಗಳು, ಅಥವಾ ಪಠ್ಯ, ಅಥವಾ ಆಡಿಯೋವನ್ನು ನಿರ್ವಹಿಸಲು ವಿಶೇಷವಾದ ಅಂಶಗಳನ್ನು ಹೊಂದಿಲ್ಲ. ಇದಲ್ಲದೆ ಇದು ವೈವಿಧ್ಯಮಯ ಪ್ರಕಾರಗಳ ಅನೇಕ ಪರಸ್ಪರ ಸಂಬಂಧಿತ ಇನ್ಪುಟ್ ಸ್ಟ್ರೀಮ್ಗಳನ್ನು ನಿಭಾಯಿಸಬಲ್ಲದು. ಇದು ಸುಪ್ತ ಘಟಕಗಳ ಒಂದು ಸಣ್ಣ ಗುಂಪನ್ನು ಬಳಸುತ್ತದೆ, ಇದು ಗಮನದ ಅಡಚಣೆಯನ್ನು ರೂಪಿಸುತ್ತದೆ, ಅದರ ಮೂಲಕ ಒಳಹರಿವುಗಳು ಹಾದುಹೋಗಬೇಕು. ಆರಂಭಿಕ ಟ್ರಾನ್ಸ್ಫಾರ್ಮರ್ಗಳಲ್ಲಿ ಕಂಡುಬರುವ ಚತುರ್ಭುಜ ಸ್ಕೇಲಿಂಗ್ ಸಮಸ್ಯೆಯನ್ನು ತೊಡೆದುಹಾಕುವುದು ಒಂದು ಪ್ರಯೋಜನವಾಗಿದೆ. ಹಿಂದಿನ ಕೆಲಸವು ಪ್ರತಿ ವಿಧಾನಕ್ಕೂ ಕಸ್ಟಮ್ ಫೀಚರ್ ಎಕ್ಸ್ಟ್ರಾಕ್ಟರ್ಗಳನ್ನು ಬಳಸುತ್ತಿತ್ತು. ಇದು ಪ್ರತಿ ಇನ್ಪುಟ್ ಅಂಶದೊಂದಿಗೆ ಸ್ಥಾನ ಮತ್ತು ವಿಧಾನ-ನಿರ್ದಿಷ್ಟ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಸಂಯೋಜಿಸುತ್ತದೆ (ಉದಾಹರಣೆಗೆ. ಪ್ರತಿ ಪಿಕ್ಸೆಲ್, ಅಥವಾ ಆಡಿಯೋ ಮಾದರಿ). ಹೈ-ಫಿಡೆಲಿಟಿ ಫೋರಿಯರ್ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಈ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಕಲಿಯಬಹುದು ಅಥವಾ ನಿರ್ಮಿಸಬಹುದು. ಪರ್ಸೀವರ್ ರೇಖೀಯ ಸಂಕೀರ್ಣತೆಯ ಪದರಗಳನ್ನು ಉತ್ಪಾದಿಸಲು ಮತ್ತು ಜಾಲಬಂಧದ ಆಳವನ್ನು ಇನ್ಪುಟ್ ಗಾತ್ರದಿಂದ ಬೇರ್ಪಡಿಸಲು ಅಡ್ಡ-ಗಮನವನ್ನು ಬಳಸುತ್ತದೆ. ಈ ಬೇರ್ಪಡಿಸುವಿಕೆಯು ಆಳವಾದ ವಿನ್ಯಾಸಗಳನ್ನು ಅನುಮತಿಸುತ್ತದೆ. ಘಟಕಗಳು ಒಂದು ಅಡ್ಡ-ಗಮನ ಮಾಡ್ಯೂಲ್ ಒಂದು (ದೊಡ್ಡ) ಬೈಟ್ ರಚನೆಯನ್ನು (ಉದಾಹರಣೆಗೆ, ಪಿಕ್ಸೆಲ್ ರಚನೆಯನ್ನು) ಮತ್ತು ಒಂದು ಸುಪ್ತ ರಚನೆಯನ್ನು (ಸಣ್ಣ) ಮತ್ತೊಂದು ಸುಪ್ತ ರಚನೆಗೆ ನಕ್ಷೆ ಮಾಡುತ್ತದೆ, ಇದು ಆಯಾಮವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. ಟ್ರಾನ್ಸ್ಫಾರ್ಮರ್ ಗೋಪುರವು ಒಂದು ಸುಪ್ತ ಶ್ರೇಣಿಯನ್ನು ಮತ್ತೊಂದು ಸುಪ್ತ ರಚನೆಗೆ ನಕ್ಷೆ ಮಾಡುತ್ತದೆ, ಇದನ್ನು ಇನ್ಪುಟ್ ಅನ್ನು ಮತ್ತೆ ಪ್ರಶ್ನಿಸಲು ಬಳಸಲಾಗುತ್ತದೆ. ಎರಡು ಘಟಕಗಳು ಪರ್ಯಾಯವಾಗಿರುತ್ತವೆ. ಎರಡೂ ಘಟಕಗಳು ಕ್ವೆರಿ-ಕೀ-ವ್ಯಾಲ್ಯೂ (ಕ್ಯುಕೆವಿ) ಅಟೆನ್ಷನ್ ಅನ್ನು ಬಳಸುತ್ತವೆ. ಕ್ಯೂಕೆವಿ ಗಮನವು ಪ್ರಶ್ನೆ, ಕೀ ಮತ್ತು ಮೌಲ್ಯ ಜಾಲಗಳನ್ನು ಅನ್ವಯಿಸುತ್ತದೆ, ಅವು ಸಾಮಾನ್ಯವಾಗಿ ಬಹು ಪದರದ ಗ್ರಹಿಕೆಗಳಾಗಿವೆ-ಇನ್ಪುಟ್ ರಚನೆಯ ಪ್ರತಿಯೊಂದು ಅಂಶಕ್ಕೂ, ಅವುಗಳ ಇನ್ಪುಟ್ಗಳ ಸೂಚ್ಯಂಕ ಆಯಾಮವನ್ನು (ಅಥವಾ ಅನುಕ್ರಮ ಉದ್ದ) ಸಂರಕ್ಷಿಸುವ ಮೂರು ಸರಣಿಗಳನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ. ಪರ್ಸೀವರ್ ಐಒ ಪರ್ಸೀವರ್ ಐಒ ಅನಿಯಂತ್ರಿತ ಗಾತ್ರ ಮತ್ತು ಶಬ್ದಾರ್ಥದ ಉತ್ಪನ್ನಗಳನ್ನು ಉತ್ಪಾದಿಸಲು ಮಾದರಿಯ ಸುಪ್ತ ಜಾಗವನ್ನು ಸುಲಭವಾಗಿ ಪ್ರಶ್ನಿಸಬಹುದು. ಇದು ನೈಸರ್ಗಿಕ ಭಾಷೆ ಮತ್ತು ದೃಶ್ಯ ತಿಳುವಳಿಕೆ, ಸ್ಟಾರ್ಕ್ರಾಫ್ಟ್ II ಮತ್ತು ಬಹು-ಕಾರ್ಯಗಳಂತಹ ರಚನಾತ್ಮಕ ಔಟ್ಪುಟ್ ಸ್ಥಳಗಳೊಂದಿಗಿನ ಕಾರ್ಯಗಳ ಮೇಲೆ ಫಲಿತಾಂಶಗಳನ್ನು ಸಾಧಿಸುತ್ತದೆ. ಪರ್ಸೀವರ್ ಐಒ ಇನ್ಪುಟ್ ಟೋಕನೈಸೇಶನ್ ಅಗತ್ಯವಿಲ್ಲದೇ ಜಿ. ಎಲ್. ಯು. ಇ ಭಾಷೆಯ ಮಾನದಂಡದಲ್ಲಿ ಟ್ರಾನ್ಸ್ಫಾರ್ಮರ್ ಆಧಾರಿತ ಬಿಇಆರ್ಟಿ ಬೇಸ್ಲೈನ್ಗೆ ಹೊಂದಿಕೆಯಾಗುತ್ತದೆ ಮತ್ತು ಸಿಂಟೆಲ್ ಆಪ್ಟಿಕಲ್ ಹರಿವಿನ ಅಂದಾಜಿನಲ್ಲಿ ಅತ್ಯಾಧುನಿಕ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸಾಧಿಸುತ್ತದೆ. ಆ ನಿರ್ದಿಷ್ಟ ಔಟ್ಪುಟ್ಗೆ ಸಂಬಂಧಿಸಿದ ನಿರ್ದಿಷ್ಟ ಔಟ್ಪುಟ್ ಪ್ರಶ್ನೆಯನ್ನು ಬಳಸಿಕೊಂಡು ಸುಪ್ತ ರಚನೆಗೆ ಹಾಜರಾಗುವ ಮೂಲಕ ಔಟ್ಪುಟ್ಗಳನ್ನು ಉತ್ಪಾದಿಸಲಾಗುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, ಒಂದು ಪಿಕ್ಸೆಲ್ನಲ್ಲಿ ಆಪ್ಟಿಕಲ್ ಹರಿವನ್ನು ಊಹಿಸಲು ಪಿಕ್ಸೆಲ್ನ xy ನಿರ್ದೇಶಾಂಕಗಳು ಮತ್ತು ಒಂದೇ ಹರಿವಿನ ವಾಹಕವನ್ನು ಉತ್ಪಾದಿಸಲು ಒಳಸೇರಿಸುವ ಆಪ್ಟಿಕಲ್ ಹರಿವಿನ ಕಾರ್ಯವನ್ನು ಬಳಸಿಕೊಂಡು ಒಂದು ಪ್ರಶ್ನೆಯು ಹಾಜರಾಗುತ್ತದೆ. ಇದು ಇತರ ವಿನ್ಯಾಸಗಳಲ್ಲಿ ಬಳಸುವ ಎನ್ಕೋಡರ್/ಡಿಕೋಡರ್ ವಾಸ್ತುಶಿಲ್ಪದ ರೂಪಾಂತರವಾಗಿದೆ. ಪರ್ಫಾರ್ಮೆನ್ಸ್ ಪರ್ಸೀವರ್ನ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು 2ಡಿ ಕನ್ವಲ್ಯೂಷನ್ಗಳಿಲ್ಲದ ರೆಸ್ನೆಟ್-50 ಮತ್ತು ಇಮೇಜ್ನೆಟ್ನಲ್ಲಿನ ವಿಐಟಿಗೆ ಹೋಲಿಸಬಹುದು. ಇದು 50,000 ಪಿಕ್ಸೆಲ್ಗಳಿಗೆ ಹಾಜರಾಗುತ್ತದೆ. ಇದು ಆಡಿಯೋಸೆಟ್ನಲ್ಲಿನ ಎಲ್ಲಾ ವಿಧಾನಗಳಲ್ಲಿ ಸ್ಪರ್ಧಾತ್ಮಕವಾಗಿದೆ. ಕನ್ವಲ್ಯೂಷನಲ್ ನ್ಯೂರಲ್ ನೆಟ್ವರ್ಕ್ ಟ್ರಾನ್ಸ್ಫಾರ್ಮರ್ (ಯಂತ್ರ ಕಲಿಕೆಯ ಮಾದರಿ) ಉಲ್ಲೇಖಗಳು ಬಾಹ್ಯ ಕೊಂಡಿಗಳನ್ನು ಸಹ ನೋಡಿ, ಫೋರಿಯರ್ ವೈಶಿಷ್ಟ್ಯಗಳೊಂದಿಗೆ ಯಂತ್ರ ಕಲಿಕೆಯನ್ನು ಹೆಚ್ಚು ವಿವರವಾಗಿ ವಿವರಿಸಲಾಗಿದೆ.