BLOOM (language model)
ಬಿಗ್ ಸೈನ್ಸ್ ಲಾರ್ಜ್ ಓಪನ್-ಸೈನ್ಸ್ ಓಪನ್-ಆಕ್ಸೆಸ್ ಬಹುಭಾಷಾ ಭಾಷಾ ಮಾದರಿ (ಬ್ಲೂಮ್) ಒಂದು ಟ್ರಾನ್ಸ್ಫಾರ್ಮರ್ ಆಧಾರಿತ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಯಾಗಿದೆ. ದೊಡ್ಡ ಪ್ರಮಾಣದ ಸಾರ್ವಜನಿಕ ಪ್ರವೇಶಕ್ಕಾಗಿ ಉಚಿತ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಯನ್ನು ಒದಗಿಸಲು 1,000ಕ್ಕೂ ಹೆಚ್ಚು AI ಸಂಶೋಧಕರು ಇದನ್ನು ರಚಿಸಿದ್ದಾರೆ. 2022ರ ಮಾರ್ಚ್ನಿಂದ ಜುಲೈವರೆಗೆ ಸುಮಾರು 366 ಶತಕೋಟಿ ಟೋಕನ್ಗಳಲ್ಲಿ ತರಬೇತಿ ಪಡೆದಿರುವ ಇದನ್ನು ಅದರ 176 ಶತಕೋಟಿ ನಿಯತಾಂಕಗಳೊಂದಿಗೆ ಓಪನ್ಎಐಯ ಜಿಪಿಟಿ-3ಗೆ ಪರ್ಯಾಯವೆಂದು ಪರಿಗಣಿಸಲಾಗಿದೆ. BLOOM ಮೆಗಾಟ್ರಾನ್-LM ಜಿಪಿಟಿ-2 ನಿಂದ ಮಾರ್ಪಡಿಸಿದ ಡಿಕೋಡರ್-ಮಾತ್ರ ಟ್ರಾನ್ಸ್ಫಾರ್ಮರ್ ಮಾದರಿ ವಾಸ್ತುಶಿಲ್ಪವನ್ನು ಬಳಸುತ್ತದೆ. ಬ್ಲೂಮ್ ಯೋಜನೆಯನ್ನು ಹಗ್ಗಿಂಗ್ ಫೇಸ್ನ ಸಹ-ಸಂಸ್ಥಾಪಕರೊಬ್ಬರು ಪ್ರಾರಂಭಿಸಿದರು. ಹಗ್ಗಿಂಗ್ಫೇಸ್ನ ಬಿಗ್ ಸೈನ್ಸ್ ತಂಡ, ಮೈಕ್ರೋಸಾಫ್ಟ್ ಡೀಪ್ಸ್ಪೀಡ್ ತಂಡ, ಎನ್ವಿಡಿಯಾ ಮೆಗಾಟ್ರಾನ್-ಎಲ್ಎಂ ತಂಡ, ಐಡಿಆರ್ಐಎಸ್/ಜೆನ್ಸಿಐ ತಂಡ, ಪೈಟೋರ್ಚ್ ತಂಡ ಮತ್ತು ಬಿಗ್ ಸೈನ್ಸ್ ಎಂಜಿನಿಯರಿಂಗ್ ಕಾರ್ಯಸಮೂಹದ ಸ್ವಯಂಸೇವಕರು ಸೇರಿದಂತೆ ಆರು ಪ್ರಮುಖ ಗುಂಪುಗಳು ಇದರಲ್ಲಿ ಭಾಗಿಯಾಗಿದ್ದವು. 46 ನೈಸರ್ಗಿಕ ಭಾಷೆಗಳು ಮತ್ತು 13 ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಭಾಷೆಗಳ ದತ್ತಾಂಶವನ್ನು ಬಳಸಿಕೊಂಡು ಬ್ಲೂಮ್ಗೆ ತರಬೇತಿ ನೀಡಲಾಯಿತು. ಒಟ್ಟಾರೆಯಾಗಿ, ಪೂರ್ವ-ಸಂಸ್ಕರಿಸಿದ ಪಠ್ಯದ 1.6 ಟೆರಾಬೈಟ್ಗಳನ್ನು 350 ಶತಕೋಟಿ ವಿಶಿಷ್ಟ ಟೋಕನ್ಗಳಾಗಿ ಬ್ಲೂಮ್ನ ತರಬೇತಿ ದತ್ತಾಂಶಗಳನ್ನಾಗಿ ಪರಿವರ್ತಿಸಲಾಗಿದೆ. ಉಲ್ಲೇಖಗಳು ದೊಡ್ಡ ಭಾಷೆಯ ಮಾದರಿಗಳು ಪೂರ್ವ-ತರಬೇತಿ ಪಡೆದ ಪರಿವರ್ತಕಗಳನ್ನು ಉತ್ಪಾದಿಸುತ್ತವೆ