GPT-1
ಜನರೇಟಿವ್ ಪ್ರಿ-ಟ್ರೈನ್ಡ್ ಟ್ರಾನ್ಸ್ಫಾರ್ಮರ್ 1 (ಜಿಪಿಟಿ-1) 2017ರಲ್ಲಿ ಗೂಗಲ್ನ ಟ್ರಾನ್ಸ್ಫಾರ್ಮರ್ ವಾಸ್ತುಶಿಲ್ಪದ ಆವಿಷ್ಕಾರದ ನಂತರ ಓಪನ್ಎಐಯ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳಲ್ಲಿ ಮೊದಲನೆಯದಾಗಿದೆ. ಜೂನ್ 2018 ರಲ್ಲಿ, ಓಪನ್ಎಐ "ಜನರೇಟಿವ್ ಪೂರ್ವ-ತರಬೇತಿಯಿಂದ ಭಾಷೆಯ ತಿಳುವಳಿಕೆಯನ್ನು ಸುಧಾರಿಸುವುದು" ಎಂಬ ಶೀರ್ಷಿಕೆಯ ಲೇಖನವನ್ನು ಬಿಡುಗಡೆ ಮಾಡಿತು, ಇದರಲ್ಲಿ ಅವರು ಉತ್ಪಾದಕ ಪೂರ್ವ-ತರಬೇತಿ ಪಡೆದ ಟ್ರಾನ್ಸ್ಫಾರ್ಮರ್ನ ಸಾಮಾನ್ಯ ಪರಿಕಲ್ಪನೆಯೊಂದಿಗೆ ಆ ಆರಂಭಿಕ ಮಾದರಿಯನ್ನು ಪರಿಚಯಿಸಿದರು. ಅಲ್ಲಿಯವರೆಗೆ, ಅತ್ಯುತ್ತಮ-ಕಾರ್ಯಕ್ಷಮತೆಯ ನ್ಯೂರಲ್ ಎನ್ಎಲ್ಪಿ ಮಾದರಿಗಳು ಪ್ರಾಥಮಿಕವಾಗಿ ಹಸ್ತಚಾಲಿತವಾಗಿ ಲೇಬಲ್ ಮಾಡಲಾದ ಹೆಚ್ಚಿನ ಪ್ರಮಾಣದ ದತ್ತಾಂಶದಿಂದ ಮೇಲ್ವಿಚಾರಣೆಯ ಕಲಿಕೆಯನ್ನು ಬಳಸಿಕೊಂಡಿದ್ದವು. ಮೇಲ್ವಿಚಾರಣೆಯ ಕಲಿಕೆಯ ಮೇಲಿನ ಈ ಅವಲಂಬನೆಯು ಚೆನ್ನಾಗಿ ಟಿಪ್ಪಣಿ ಮಾಡದ ದತ್ತಾಂಶಗಳ ಬಳಕೆಯನ್ನು ಸೀಮಿತಗೊಳಿಸಿತು, ಜೊತೆಗೆ ಅತ್ಯಂತ ದೊಡ್ಡ ಮಾದರಿಗಳಿಗೆ ತರಬೇತಿ ನೀಡುವುದು ನಿಷೇಧಾತ್ಮಕವಾಗಿ ದುಬಾರಿಯಾಗಿದೆ ಮತ್ತು ಸಮಯ ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ; ಕಾರ್ಪಸ್-ಬಿಲ್ಡಿಂಗ್ಗಾಗಿ ಲಭ್ಯವಿರುವ ಪಠ್ಯದ ಕೊರತೆಯಿಂದಾಗಿ ಅನೇಕ ಭಾಷೆಗಳು (ಸ್ವಾಹಿಲಿ ಅಥವಾ ಹೈಟಿಯನ್ ಕ್ರಿಯೋಲ್ನಂತಹ) ಅಂತಹ ಮಾದರಿಗಳನ್ನು ಭಾಷಾಂತರಿಸುವುದು ಮತ್ತು ಅರ್ಥೈಸಿಕೊಳ್ಳುವುದು ಕಷ್ಟ. ಇದಕ್ಕೆ ವ್ಯತಿರಿಕ್ತವಾಗಿ, ಜಿ. ಪಿ. ಟಿ. ಯ "ಅರೆ-ಮೇಲ್ವಿಚಾರಿತ" ವಿಧಾನವು ಎರಡು ಹಂತಗಳನ್ನು ಒಳಗೊಂಡಿತ್ತುಃ ಒಂದು ಮೇಲ್ವಿಚಾರಣೆಯಿಲ್ಲದ ಉತ್ಪಾದಕ "ಪೂರ್ವ-ತರಬೇತಿ" ಹಂತ, ಇದರಲ್ಲಿ ಆರಂಭಿಕ ನಿಯತಾಂಕಗಳನ್ನು ಹೊಂದಿಸಲು ಭಾಷಾ ಮಾದರಿ ಉದ್ದೇಶವನ್ನು ಬಳಸಲಾಗುತ್ತಿತ್ತು, ಮತ್ತು ಮೇಲ್ವಿಚಾರಣೆಯ ತಾರತಮ್ಯದ "ಸೂಕ್ಷ್ಮ-ಶ್ರುತಿ" ಹಂತ, ಇದರಲ್ಲಿ ಈ ನಿಯತಾಂಕಗಳನ್ನು ಗುರಿ ಕಾರ್ಯಕ್ಕೆ ಅಳವಡಿಸಿಕೊಳ್ಳಲಾಯಿತು. ಟ್ರಾನ್ಸ್ಫಾರ್ಮರ್ ವಾಸ್ತುಶಿಲ್ಪದ ಬಳಕೆಯು, ಗಮನ-ವರ್ಧಿತ ಆರ್ಎನ್ಎನ್ಗಳನ್ನು ಒಳಗೊಂಡ ಹಿಂದಿನ ತಂತ್ರಗಳಿಗೆ ವಿರುದ್ಧವಾಗಿ, ಪುನರಾವರ್ತಿತ ಕಾರ್ಯವಿಧಾನಗಳ ಮೂಲಕ ಸಾಧಿಸಬಹುದಾದ ಹೆಚ್ಚು ರಚನಾತ್ಮಕ ಸ್ಮರಣೆಯೊಂದಿಗೆ ಜಿಪಿಟಿ ಮಾದರಿಗಳನ್ನು ಒದಗಿಸಿತು; ಇದು "ವೈವಿಧ್ಯಮಯ ಕಾರ್ಯಗಳಲ್ಲಿ ದೃಢವಾದ ವರ್ಗಾವಣೆ ಕಾರ್ಯಕ್ಷಮತೆಗೆ" ಕಾರಣವಾಯಿತು. ಬುಕ್ ಕಾರ್ಪಸ್ ಅನ್ನು ಆಯ್ಕೆ ಮಾಡುವ ಕಾರಣವನ್ನು ಭಾಗಶಃ ತರಬೇತಿ ದತ್ತಾಂಶ ಸಂಗ್ರಹವಾಗಿ ಆಯ್ಕೆ ಮಾಡಲಾಯಿತು ಏಕೆಂದರೆ ನಿರಂತರ ಪಠ್ಯದ ದೀರ್ಘ ಭಾಗಗಳು ಮಾದರಿಯು ದೀರ್ಘ-ಶ್ರೇಣಿಯ ಮಾಹಿತಿಯನ್ನು ನಿರ್ವಹಿಸಲು ಕಲಿಯಲು ಸಹಾಯ ಮಾಡಿತು. ಇದು ವಿವಿಧ ಪ್ರಕಾರಗಳ 7,000ಕ್ಕೂ ಹೆಚ್ಚು ಅಪ್ರಕಟಿತ ಕಾಲ್ಪನಿಕ ಪುಸ್ತಕಗಳನ್ನು ಒಳಗೊಂಡಿದೆ. ಆ ಸಮಯದಲ್ಲಿ ಲಭ್ಯವಿದ್ದ ಉಳಿದ ದತ್ತಾಂಶಗಳು ದೊಡ್ಡದಾಗಿದ್ದರೂ, ಈ ದೀರ್ಘ-ಶ್ರೇಣಿಯ ರಚನೆಯ ಕೊರತೆಯನ್ನು ಹೊಂದಿದ್ದವು (ವಾಕ್ಯ ಮಟ್ಟದಲ್ಲಿ "ಷಫಲ್" ಆಗಿತ್ತು). ಬುಕ್ ಕಾರ್ಪಸ್ ಪಠ್ಯವನ್ನು ಎಫ್. ಟಿ. ಎಫ್. ಐ ಗ್ರಂಥಾಲಯವು ಪ್ರಮಾಣೀಕೃತ ವಿರಾಮ ಚಿಹ್ನೆ ಮತ್ತು ವೈಟ್ಸ್ಪೇಸ್ಗೆ ಸ್ವಚ್ಛಗೊಳಿಸಿತು ಮತ್ತು ನಂತರ ಸ್ಪಾಸಿಯಿಂದ ಟೋಕನೈಸ್ ಮಾಡಲಾಯಿತು. ಜಿಪಿಟಿ-1 ವಾಸ್ತುಶಿಲ್ಪವು ಹನ್ನೆರಡು-ಪದರದ ಡಿಕೋಡರ್-ಮಾತ್ರ ಟ್ರಾನ್ಸ್ಫಾರ್ಮರ್ ಆಗಿದ್ದು, ಹನ್ನೆರಡು ಮುಖವಾಡದ ಸ್ವಯಂ-ಗಮನ ತಲೆಗಳನ್ನು ಬಳಸುತ್ತದೆ, ಪ್ರತಿಯೊಂದೂ 64-ಆಯಾಮದ ಸ್ಥಿತಿಗಳನ್ನು ಹೊಂದಿರುತ್ತದೆ (ಒಟ್ಟು 768). ಸರಳ ಸಂಭವನೀಯ ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ ಬದಲಿಗೆ, ಆಡಮ್ ಆಪ್ಟಿಮೈಸೇಶನ್ ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ಬಳಸಲಾಯಿತು; ಕಲಿಕೆಯ ಪ್ರಮಾಣವನ್ನು ಮೊದಲ 2,000 ನವೀಕರಣಗಳಲ್ಲಿ ಶೂನ್ಯದಿಂದ ಗರಿಷ್ಠ 2.5x10−4 ಗೆ ರೇಖೀಯವಾಗಿ ಹೆಚ್ಚಿಸಲಾಯಿತು, ಮತ್ತು ಕೊಸೈನ್ ವೇಳಾಪಟ್ಟಿಯನ್ನು ಬಳಸಿಕೊಂಡು 0 ಗೆ ಅನೀಲ್ ಮಾಡಲಾಯಿತು. ಸೂಕ್ಷ್ಮ-ಸಂಯೋಜನೆಯನ್ನು ನಿರ್ದಿಷ್ಟ ಕಾರ್ಯಗಳಿಗೆ ಅಳವಡಿಸಿಕೊಂಡಿದ್ದರೂ, ಅದರ ಪೂರ್ವ-ತರಬೇತಿಯು ಇರಲಿಲ್ಲ; ವಿವಿಧ ಕಾರ್ಯಗಳನ್ನು ನಿರ್ವಹಿಸಲು, ಅದರ ಆಧಾರವಾಗಿರುವ ಕಾರ್ಯ-ಅಜ್ಞಾತ ಮಾದರಿ ವಾಸ್ತುಶಿಲ್ಪದಲ್ಲಿ ಕನಿಷ್ಠ ಬದಲಾವಣೆಗಳನ್ನು ಮಾಡಲಾಯಿತು. ಇದರ ಹೊರತಾಗಿಯೂ, ಹಲವಾರು ಭಾಷಾ ಸಂಸ್ಕರಣಾ ಕಾರ್ಯಗಳಲ್ಲಿ ಹಿಂದಿನ ಮಾನದಂಡಗಳಲ್ಲಿ ಜಿಪಿಟಿ-1 ಇನ್ನೂ ಸುಧಾರಿಸಿದೆ, ಹಲವಾರು ವೈವಿಧ್ಯಮಯ ಕಾರ್ಯಗಳಲ್ಲಿ ಕಾರ್ಯ-ಆಧಾರಿತ ವಿನ್ಯಾಸಗಳೊಂದಿಗೆ ತಾರತಮ್ಯದಿಂದ ತರಬೇತಿ ಪಡೆದ ಮಾದರಿಗಳನ್ನು ಮೀರಿಸಿದೆ. ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಮೌಲ್ಯಮಾಪನ ಜಿಪಿಟಿ-1 ನೈಸರ್ಗಿಕ ಭಾಷೆಯ ತೀರ್ಮಾನದ ಮೇಲಿನ ಹಿಂದಿನ ಅತ್ಯುತ್ತಮ ಫಲಿತಾಂಶಗಳಿಗಿಂತ 5.8% ಮತ್ತು 1.5% ಸುಧಾರಣೆಯನ್ನು ಸಾಧಿಸಿದೆ (ಪಠ್ಯ ಪ್ರವೇಶ ಎಂದೂ ಕರೆಯಲಾಗುತ್ತದೆ), ವಿವಿಧ ದತ್ತಾಂಶಗಳಿಂದ ಜೋಡಿ ವಾಕ್ಯಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸುವ ಸಾಮರ್ಥ್ಯವನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತದೆ ಮತ್ತು ಅವುಗಳ ನಡುವಿನ ಸಂಬಂಧವನ್ನು "ಪ್ರವೇಶ", "ವಿರೋಧಾಭಾಸ" ಅಥವಾ "ತಟಸ್ಥ" ಎಂದು ವರ್ಗೀಕರಿಸುತ್ತದೆ. ಅಂತಹ ದತ್ತಾಂಶಗಳ ಉದಾಹರಣೆಗಳಲ್ಲಿ ಕ್ಯೂಎನ್ಎಲ್ಐ (ವಿಕಿಪೀಡಿಯ ಲೇಖನಗಳು) ಮತ್ತು ಮಲ್ಟಿಎನ್ಎಲ್ಐ (ಇತರ ಮೂಲಗಳ ನಡುವೆ ಲಿಪ್ಯಂತರಿತ ಭಾಷಣ, ಜನಪ್ರಿಯ ಕಾದಂಬರಿ ಮತ್ತು ಸರ್ಕಾರಿ ವರದಿಗಳು) ಸೇರಿವೆ; ಇದು ಇದೇ ರೀತಿ ಪ್ರಶ್ನೆ ಉತ್ತರಿಸುವ ಮತ್ತು ಸಾಮಾನ್ಯ ಜ್ಞಾನದ ತಾರ್ಕಿಕತೆಗೆ ಸಂಬಂಧಿಸಿದ ಎರಡು ಕಾರ್ಯಗಳಲ್ಲಿ ಹಿಂದಿನ ಮಾದರಿಗಳನ್ನು ಮೀರಿಸಿದೆ-ಮಧ್ಯಮ ಮತ್ತು ಪ್ರೌಢಶಾಲಾ ಪರೀಕ್ಷೆಗಳ ಲಿಖಿತ ಪ್ರಶ್ನೆ-ಉತ್ತರ ಜೋಡಿಗಳ ದತ್ತಾಂಶ ಸಂಗ್ರಹವಾದ ಆರ್ಎಸಿಇಯಲ್ಲಿ 5.7% ಮತ್ತು ಸ್ಟೋರಿ ಕ್ಲೋಸ್ ಟೆಸ್ಟ್ನಲ್ಲಿ 8.9% ರಷ್ಟು. ಕ್ವೋರಾ ಕ್ವೆಶ್ಚನ್ ಪೇರ್ಸ್ (ಕ್ಯುಕ್ಯೂಪಿ) ಡೇಟಾಸೆಟ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು ಎರಡು ವಾಕ್ಯಗಳು ಪರಸ್ಪರರ ಪ್ಯಾರಾಫ್ರೇಸ್ಗಳಾಗಿವೆಯೇ ಎಂದು ಊಹಿಸುವ ಸಾಮರ್ಥ್ಯವನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುವ ಮೂಲಕ ಹಿಂದಿನ ಅತ್ಯುತ್ತಮ-ಕಾರ್ಯಕ್ಷಮತೆಯ ಮಾದರಿಗಳಿಗಿಂತ ಜಿಪಿಟಿ-1 ಶಬ್ದಾರ್ಥದ ಹೋಲಿಕೆಯಲ್ಲಿ (ಅಥವಾ ಪ್ಯಾರಾಫ್ರೇಸ್ ಡಿಟೆಕ್ಷನ್) 4.2% ರಷ್ಟು ಸುಧಾರಿಸಿದೆ. ಕಾರ್ಪಸ್ ಆಫ್ ಲಿಂಗ್ವಿಸ್ಟಿಕ್ ಅಕ್ಸೆಪ್ಟಬಿಲಿಟಿ (ಸಿಒಎಲ್ಎ) ಅನ್ನು ಬಳಸಿಕೊಂಡು ಪಠ್ಯ ವರ್ಗೀಕರಣ ಕಾರ್ಯದಲ್ಲಿ ಜಿಪಿಟಿ-1 45.4 ಅಂಕಗಳನ್ನು ಗಳಿಸಿತು, ಇದು ಹಿಂದಿನ ಅತ್ಯುತ್ತಮ 35.0 ಅಂಕವಾಗಿತ್ತು. ಅಂತಿಮವಾಗಿ, ಜಿಪಿಟಿ-1 ಬಹು-ಕಾರ್ಯ ಪರೀಕ್ಷೆಯಾದ ಜಿ. ಎಲ್. ಯು. ಇ. ಯಲ್ಲಿ ಒಟ್ಟಾರೆ 72.8 ಅಂಕವನ್ನು (ಹಿಂದಿನ ದಾಖಲೆಯಾದ 68.9ಕ್ಕೆ ಹೋಲಿಸಿದರೆ) ಗಳಿಸಿತು. ಉಲ್ಲೇಖಗಳು ದೊಡ್ಡ ಭಾಷೆಯ ಮಾದರಿಗಳು ಎಂ. ಐ. ಟಿ. ಪರವಾನಗಿ ಓಪನ್ ಎ. ಐ. ಅನ್ನು ಬಳಸುವ ಪೂರ್ವ-ತರಬೇತಿ ಪಡೆದ ಪರಿವರ್ತಕಗಳ ತಂತ್ರಾಂಶವನ್ನು ಉತ್ಪಾದಿಸುತ್ತವೆ.