Tesla Dojo
টেসলা দোজো হল একটি সুপার কম্পিউটার যা কম্পিউটার ভিশন ভিডিও প্রসেসিং এবং স্বীকৃতির জন্য টেসলা দ্বারা ডিজাইন এবং নির্মিত। এটি টেসলার মেশিন লার্নিং মডেলগুলিকে তার ফুল সেলফ-ড্রাইভিং (এফএসডি) অ্যাডভান্সড ড্রাইভার-অ্যাসিস্ট্যান্স সিস্টেম উন্নত করতে প্রশিক্ষণের জন্য ব্যবহার করা হবে। টেসলার মতে, 2023 সালের জুলাই মাসে এর উৎপাদন শুরু হয়। ডোজোর লক্ষ্য হল টেসলার 4 + মিলিয়ন গাড়ি থেকে বাস্তব জীবনের ড্রাইভিং পরিস্থিতি থেকে নেওয়া লক্ষ লক্ষ টেরাবাইট ভিডিও ডেটা দক্ষতার সাথে প্রক্রিয়া করা। এই লক্ষ্যটি প্রচলিত সুপার কম্পিউটার ডিজাইনের তুলনায় যথেষ্ট ভিন্ন স্থাপত্যের দিকে পরিচালিত করে। টেসলা তার অটোপাইলট উন্নত ড্রাইভার সহায়তা ব্যবস্থা বিকাশের জন্য বেশ কয়েকটি ব্যাপক সমান্তরাল কম্পিউটিং ক্লাস্টার পরিচালনা করে। 5, 760 এনভিডিয়া এ100 গ্রাফিক্স প্রসেসিং ইউনিট (জিপিইউ) ব্যবহার করে এর প্রাথমিক নামহীন ক্লাস্টারটি আন্দ্রেজ কার্পাথি 2021 সালে কম্পিউটার ভিশন অ্যান্ড প্যাটার্ন রিকগনিশন (সিসিভিপিআর 2021) সম্পর্কিত চতুর্থ আন্তর্জাতিক যৌথ সম্মেলনে এনভিডিয়া সেলিন সুপারকম্পিউটারের কার্যকারিতা স্কেলিংয়ের উপর ভিত্তি করে প্রায় 81.6 পেটাফ্লপগুলিতে "বিশ্বের মোটামুটি পাঁচ নম্বর সুপারকম্পিউটার" হিসাবে অভিহিত করেছিলেন, যা অনুরূপ উপাদান ব্যবহার করে। তবে, প্রাথমিক টেসলা জিপিইউ ক্লাস্টারের কার্যকারিতা বিতর্কিত হয়েছে, কারণ এটি স্পষ্ট ছিল না যে এটি একক-নির্ভুলতা বা দ্বি-নির্ভুলতা ভাসমান বিন্দু সংখ্যা (এফপি 32 বা এফপি 64) ব্যবহার করে পরিমাপ করা হয়েছিল কিনা। টেসলা প্রশিক্ষণের জন্য একটি দ্বিতীয় 4,032 জিপিইউ ক্লাস্টার এবং বস্তুর স্বয়ংক্রিয় লেবেলিংয়ের জন্য একটি তৃতীয় 1,752 জিপিইউ ক্লাস্টারও পরিচালনা করে। প্রাথমিক নামহীন টেসলা জিপিইউ ক্লাস্টারটি প্রতি দশ সেকেন্ডে দশ লক্ষ ভিডিও ক্লিপ প্রক্রিয়াকরণের জন্য ব্যবহার করা হয়েছে, যা বাস্তব বিশ্বে টেসলা গাড়িতে পরিচালিত টেসলা অটোপাইলট ক্যামেরা থেকে নেওয়া হয়েছে, যা প্রতি সেকেন্ডে 36 ফ্রেমে চলছে। সামগ্রিকভাবে, এই ভিডিও ক্লিপগুলিতে গভীরতা এবং বেগের তথ্য সহ ছয় বিলিয়ন অবজেক্ট লেবেল রয়েছে; ডেটা সেটের মোট আকার ছিল দেড় পেটাবাইট। টেসলা গাড়ির অটোপাইলট কম্পিউটারগুলিকে রাস্তা বুঝতে সাহায্য করার উদ্দেশ্যে একটি নিউরাল নেটওয়ার্ক প্রশিক্ষণের জন্য এই ডেটা সেটটি ব্যবহার করা হয়েছিল। 2022 সালের আগস্টের মধ্যে, টেসলা প্রাথমিক জিপিইউ ক্লাস্টারকে 7,360 জিপিইউতে উন্নীত করেছিল। 2019 সালের এপ্রিলে টেসলার "স্বায়ত্তশাসন বিনিয়োগকারী দিবস"-এর সময় মাস্ক প্রথম ডোজোর কথা উল্লেখ করেন। 2020 সালের আগস্টে, মাস্ক বলেছিলেন যে বিদ্যুৎ এবং তাপীয় সমস্যার কারণে এটি "প্রায় এক বছর দূরে" ছিল। 19শে আগস্ট, 2021-এ টেসলার আর্টিফিশিয়াল ইন্টেলিজেন্স (এআই) দিবসে দোজোর আনুষ্ঠানিক ঘোষণা করা হয়। টেসলা ডি1 চিপ এবং "প্রজেক্ট দোজো"-র জন্য তার পরিকল্পনার বিশদ বিবরণ প্রকাশ করেছে, একটি ডেটাসেন্টার যেখানে 3,000 ডি1 চিপ থাকবে; প্রথম "প্রশিক্ষণ টাইল" সপ্তাহ আগে সম্পন্ন এবং বিতরণ করা হয়েছিল। 2021 সালের অক্টোবরে, টেসলা ইনস্টিটিউট অফ ইলেকট্রিক্যাল অ্যান্ড ইলেকট্রনিক্স ইঞ্জিনিয়ার্স (আই. ই. ই. ই) স্ট্যান্ডার্ড 754-এর সম্প্রসারণ হিসাবে কনফিগারেবল ফ্লোট8 (সি. এফ. ফ্লোট8) এবং কনফিগারেবল ফ্লোট16 (সি. এফ. ফ্লোট16) ফ্লোটিং পয়েন্ট ফরম্যাট এবং গাণিতিক ক্রিয়াকলাপ বর্ণনা করে একটি "দোজো টেকনোলজি" শ্বেতপত্র প্রকাশ করে। 2022 সালের সেপ্টেম্বরে ফলো-আপ এআই দিবসে, টেসলা ঘোষণা করেছিল যে তারা বেশ কয়েকটি সিস্টেম ট্রে এবং একটি ক্যাবিনেট তৈরি করেছে। একটি পরীক্ষার সময়, সংস্থাটি বলেছিল যে ক্যালিফোর্নিয়ার সান জোসের একটি স্থানীয় বিদ্যুৎ সাবস্টেশনকে ট্র্যাপ করার আগে প্রজেক্ট দোজো 2.3 মেগাওয়াট (মেগাওয়াট) বিদ্যুৎ টেনেছিল। সেই সময় টেসলা প্রতিদিন একটি করে প্রশিক্ষণ টাইল একত্রিত করছিল। 2023 সালের আগস্টে, টেসলা উৎপাদন ব্যবহারের পাশাপাশি 10,000 এনভিডিয়া এইচ100 জিপিইউ সহ কনফিগার করা একটি নতুন প্রশিক্ষণ ক্লাস্টারের জন্য ডোজো চালিত করে। অভ্যর্থনা বিভিন্ন বিশ্লেষক বলেছেন যে ডোজো "চিত্তাকর্ষক, তবে এটি সুপারকম্পিউটিংকে রূপান্তরিত করবে না", "এটি একটি গেম-চেঞ্জার কারণ এটি সম্পূর্ণরূপে অভ্যন্তরীণভাবে তৈরি করা হয়েছে", "স্বায়ত্তশাসিত যানবাহনের বিকাশকে ব্যাপকভাবে ত্বরান্বিত করবে" এবং "টেসলা এফএসডি এবং আরও বিস্তৃতভাবে এআই-এর ভবিষ্যতের জন্য একটি গেম চেঞ্জার হতে পারে"। 11ই সেপ্টেম্বর, 2023-এ, মরগান স্ট্যানলি টেসলা স্টকের (টি. এস. এল. এ) জন্য তার লক্ষ্য মূল্য 250 মার্কিন ডলার থেকে বাড়িয়ে 400 মার্কিন ডলার করে এবং এই স্টকটিকে বৈদ্যুতিক যানবাহন খাতে তার শীর্ষ বাছাই বলে উল্লেখ করে যে টেসলার ডোজো সুপার কম্পিউটার টেসলার বাজার মূল্যে 500 বিলিয়ন ডলার লাফিয়ে উঠতে পারে। প্রযুক্তিগত স্থাপত্য ডোজো সুপারকম্পিউটারের মৌলিক একক হল ডি1 চিপ, যা টেসলার একটি দল দ্বারা ডিজাইন করা হয়েছিল, যার নেতৃত্বে ছিলেন প্রাক্তন এএমডি সিপিইউ ডিজাইনার গণেশ ভেঙ্কটরমণন, এমিল ট্যাল্পেস, দেবজিৎ দাস শর্মা, ডগলাস উইলিয়ামস, বিল চ্যাং এবং রাজীব কুরিয়ান। ডি1 চিপটি তাইওয়ান সেমিকন্ডাক্টর ম্যানুফ্যাকচারিং কোম্পানি (টি. এস. এম. সি) দ্বারা 7 ন্যানোমিটার (এন. এম) সেমিকন্ডাক্টর নোড ব্যবহার করে তৈরি করা হয়, যার 50 বিলিয়ন ট্রানজিস্টর এবং একটি বড় আকারের ডাই রয়েছে। 2022 সালে আর্টিফিসিয়াল ইন্টেলিজেন্স (এআই) দিবসে আপডেট করার সময়, টেসলা ঘোষণা করে যে ডোজো একাধিক এক্সাপোড স্থাপন করবে, যার মধ্যে থাকবেঃ প্রতি ডি1 চিপে 354টি কম্পিউটিং কোর প্রতি প্রশিক্ষণ টাইল (কোর) প্রতি সিস্টেম ট্রেতে 6টি প্রশিক্ষণ টাইল (কোর, হোস্ট ইন্টারফেস হার্ডওয়্যার সহ) প্রতি ক্যাবিনেট 2টি সিস্টেম ট্রে (কোর, ডি1 চিপস) প্রতি এক্সাপোড 10টি ক্যাবিনেট (কোর, ডি1 চিপস)। তুলনার জন্য, এনভিডিয়ার মতে, 2021 সালের আগস্টে, (প্রাক-ডোজো) টেসলা এআই-প্রশিক্ষণ কেন্দ্র 720 টি নোড ব্যবহার করেছিল, যার প্রতিটিতে মোট 5,760 জিপিইউ-এর জন্য আটটি এনভিডিয়া এ100 টেনসর কোর জিপিইউ ছিল, যা 1.8 এক্সফ্লপ কর্মক্ষমতা প্রদান করে। ডি1 চিপ ডি1 প্রসেসিং চিপের প্রতিটি নোড (কম্পিউটিং কোর) একটি সুপারস্কেলার কোর সহ একটি সাধারণ উদ্দেশ্য 64-বিট সিপিইউ। এটি অভ্যন্তরীণ নির্দেশ-স্তরের সমান্তরালতা সমর্থন করে এবং একযোগে মাল্টিথ্রেডিং (এস. এম. টি) অন্তর্ভুক্ত করে। এটি ভার্চুয়াল মেমোরি সমর্থন করে না এবং সীমিত মেমরি সুরক্ষা ব্যবস্থা ব্যবহার করে। ডোজো সফ্টওয়্যার/অ্যাপ্লিকেশনগুলি চিপ সম্পদ পরিচালনা করে। ডি1 নির্দেশ সেট 64-বিট স্কেলার এবং 64-বিট একক নির্দেশ, মাল্টিপল ডেটা (সিমডি) ভেক্টর নির্দেশ উভয়কেই সমর্থন করে। পূর্ণসংখ্যা এককটি হ্রাসকৃত নির্দেশ সেট কম্পিউটার (আরআইএসসি-ভি) এবং কাস্টম নির্দেশাবলী মিশ্রিত করে, যা 8,16,32, বা 64 বিট পূর্ণসংখ্যা সমর্থন করে। কাস্টম ভেক্টর গণিত ইউনিটটি মেশিন লার্নিং কার্নেলের জন্য অপ্টিমাইজ করা হয়েছে এবং সুনির্দিষ্ট এবং সংখ্যাসূচক পরিসরের মিশ্রণ সহ একাধিক ডেটা ফর্ম্যাটকে সমর্থন করে, যার মধ্যে অনেকগুলি কম্পাইলার কম্পোজেবল। একযোগে 16টি ভেক্টর বিন্যাস ব্যবহার করা যেতে পারে। প্রতিটি ডি1 নোড একটি 32-বিট আনয়ন উইন্ডো ব্যবহার করে যা আটটি নির্দেশাবলী ধারণ করে। একটি আট-প্রশস্ত ডিকোডার প্রতি চক্রে দুটি থ্রেড সমর্থন করে। এই সামনের প্রান্তটি একটি চার-প্রশস্ত, চার-মুখী এসএমটি স্কেলার সময়সূচী সরবরাহ করে যার দুটি পূর্ণসংখ্যা ইউনিট, দুটি ঠিকানা ইউনিট এবং একটি রেজিস্টার ফাইল/থ্রেড রয়েছে। একটি দুই-পার্শ্ব ভেক্টর সিডিউলারের চার-মুখী এসএমটি থাকে, যা একটি 64-বিট প্রশস্ত সিমডি ইউনিট বা চারটি 8 × 8 × 4 ম্যাট্রিক্স গুণন ইউনিটকে ফিড করে। নেটওয়ার্ক অন-চিপ (এন. ও. সি) রাউটার কোরগুলিকে একটি দ্বিমাত্রিক জাল নেটওয়ার্কে সংযুক্ত করে। এটি প্রতি ঘড়ি চক্রে একটি 64-বিট রিড এবং একটি 64-বিট রাইট সহ প্রতিটি প্রতিবেশী নোডে/থেকে চারটি দিকে একটি প্যাকেট এবং একটি প্যাকেট পাঠাতে পারে। হার্ডওয়্যার নেটিভ অপারেশনগুলি মেমোরি এবং সিপিইউ জুড়ে ডেটা, সেমাফোর এবং বাধা সীমাবদ্ধতাগুলি স্থানান্তর করে। সিস্টেম-ওয়াইড ডাবল ডেটা রেট 4 (ডিডিআর 4) সিঙ্ক্রোনাস ডায়নামিক র্যান্ডম-অ্যাক্সেস মেমরি (এসডিআরএএম) মেমরি বাল্ক স্টোরেজের মতো কাজ করে। প্রতিটি কোরের 1.25 মেগাবাইট (এম. বি) এস. আর. এ. এম প্রধান মেমরি থাকে। লোড এবং স্টোরের গতি যথাক্রমে প্রতি সেকেন্ডে 400 গিগাবাইট (জিবি) এবং 270 জিবি/সেকেন্ডে পৌঁছায়। চিপটিতে স্পষ্ট কোর-টু-কোর ডেটা স্থানান্তর নির্দেশাবলী রয়েছে। প্রতিটি এসআরএএম-এর একটি অনন্য তালিকা পার্সার রয়েছে যা এক জোড়া ডিকোডার এবং একটি সংগ্রহকারী ইঞ্জিনকে ফিড করে যা ভেক্টর রেজিস্টার ফাইলকে ফিড করে, যা একসাথে সরাসরি নোড জুড়ে তথ্য স্থানান্তর করতে পারে। বারোটি নোড (কোর) একটি স্থানীয় ব্লকে গোষ্ঠীভুক্ত করা হয়। নোডগুলি একটি একক ডাইতে 18 × 20 অ্যারেতে সাজানো হয়, যার মধ্যে 354 কোর অ্যাপ্লিকেশনের জন্য উপলব্ধ। ডাই 2 গিগাহার্টজ (গিগাহার্টজ) এ চলে এবং মোট 440 এমবি এসআরএএম (360 কোর × 1.25 এমবি/কোর)। এটি 16-বিট ব্রেন ফ্লোটিং পয়েন্ট (বি. এফ. 16) নম্বর ব্যবহার করে বা কনফিগারযোগ্য 8-বিট ফ্লোটিং পয়েন্ট (সি. এফ. ফ্লোট 8) নম্বর ব্যবহার করে 376 টেরাফ্লপ-এ পৌঁছায়, যা একটি টেসলা প্রস্তাব, এবং এফ. পি. 32-এ 22 টেরাফ্লপ। প্রতিটি ডাইতে অন্যান্য ডাইগুলির সাথে সংযোগ স্থাপনের জন্য পরিধি বরাবর 576টি দ্বি-দিকনির্দেশক সিরিয়ালাইজার/ডিসেরিয়ালাইজার (সার্দেস) চ্যানেল রয়েছে এবং চারটি ডাই প্রান্ত জুড়ে 8 টিবি/সেকেন্ড চলে। প্রতিটি ডি1 চিপের তাপীয় নকশার ক্ষমতা প্রায় 400 ওয়াট। প্রশিক্ষণ টাইল জল-শীতল প্রশিক্ষণ টাইল 25 টি ডি 1 চিপকে 5 × 5 অ্যারেতে প্যাকেজ করে। প্রতিটি টাইল 40টি ইনপুট/আউটপুট (আই/ও) চিপের মাধ্যমে 36 টিবি/সেকেন্ড সমষ্টিগত ব্যান্ডউইথকে সমর্থন করে-যা চিপ জাল নেটওয়ার্কের অর্ধেক ব্যান্ডউইথ। প্রতিটি টাইল 10 টিবি/সেকেন্ড অন-টাইল ব্যান্ডউইথ সমর্থন করে। প্রতিটি টাইলের 11 জিবি এসআরএএম মেমোরি রয়েছে (25 ডি1 চিপ × 360 কোর/ডি1 × 1.25 এমবি/কোর)। প্রতিটি টাইল বি. এফ. 16/সি. এফ. ফ্লোট 8 নির্ভুলতায় 9টি পেটাফ্লপ অর্জন করে (25টি ডি1 চিপ × 376টি টি. এফ. এল. ও. পি/ডি1)। প্রতিটি টাইল 15 কিলোওয়াট খরচ করে; 52 ভোল্টে 288 অ্যাম্পিয়ার। সিস্টেম ট্রে সিক্স টাইলগুলি একটি সিস্টেম ট্রেতে একত্রিত করা হয়, যা একটি হোস্ট ইন্টারফেসের সাথে সংহত করা হয়। প্রতিটি হোস্ট ইন্টারফেসে 512 x86 কোর রয়েছে, যা একটি লিনাক্স-ভিত্তিক ব্যবহারকারী পরিবেশ প্রদান করে। এর আগে, ডোজো সিস্টেম ট্রে প্রশিক্ষণ ম্যাট্রিক্স নামে পরিচিত ছিল, যার মধ্যে রয়েছে ছয়টি প্রশিক্ষণ টাইল, চারটি হোস্ট সার্ভারে 20টি ডোজো ইন্টারফেস প্রসেসর কার্ড এবং ইথারনেট-সংযুক্ত সংযুক্ত সার্ভার। এর 53,100 ডি1 কোর রয়েছে, যা বি. এফ. 16 এবং সি. এফ. ফ্লোট8 ফরম্যাটে 1টি এক্সফ্লপ রেটিং পেয়েছে। এটিতে 1 টিবি অন-টাইল এসআরএএম মেমোরি এবং 13 টিবি ডুয়াল ইন-লাইন হাই ব্যান্ডউইথ মেমোরি (এইচবিএম) রয়েছে। ডোজো ইন্টারফেস প্রসেসর কার্ডগুলি (ডিআইপি) টাইল অ্যারেগুলির প্রান্তে বসে এবং জাল নেটওয়ার্কে সংযুক্ত থাকে। হোস্ট সিস্টেমগুলি ডিআইপিগুলিকে শক্তি দেয় এবং বিভিন্ন সিস্টেম ম্যানেজমেন্ট ফাংশন সম্পাদন করে। একটি ডিআইপি মেমরি এবং আই/ও কো-প্রসেসর 32 জিবি ভাগ করা এইচবিএম (এইচবিএম2ই বা এইচবিএম3) ধারণ করে-পাশাপাশি ইথারনেট ইন্টারফেস যা জাল নেটওয়ার্ককে পাশ কাটিয়ে যায়। প্রতিটি ডিআইপি কার্ডে 2টি আই/ও প্রসেসর রয়েছে যার মধ্যে 4টি মেমোরি ব্যাঙ্ক রয়েছে এবং 800 জিবি/সেকেন্ড ব্যান্ডউইথ সহ মোট 32 জিবি। ডিআইপি একটি পিসিআই-এক্সপ্রেস 4.0 x16 স্লটে প্লাগ করে যা প্রতি কার্ডে 32 জিবি/সেকেন্ড ব্যান্ডউইথ সরবরাহ করে। প্রতি টাইল প্রান্তে পাঁচটি কার্ড হোস্ট সার্ভারকে 160 জিবি/সেকেন্ড এবং টাইলকে 4.5 টিবি/সেকেন্ড ব্যান্ডউইথ প্রদান করে। টেসলা ট্রান্সপোর্ট প্রোটোকল (টিটিপি) হল পিসিআই-এক্সপ্রেসের উপর একটি মালিকানাধীন আন্তঃসংযোগ। একটি 50 জিবি/সেকেন্ড টিটিপি প্রোটোকল লিঙ্ক ইথারনেটের মাধ্যমে একটি একক 400 জিবি/সেকেন্ড পোর্ট বা 200 জিবি/সেকেন্ড পোর্টের জোড়া সেট অ্যাক্সেস করতে চলে। সমগ্র দ্বি-মাত্রিক জাল নেটওয়ার্ক অতিক্রম করতে 30টি হপ লাগতে পারে, যেখানে ইথারনেটের উপর টিটিপি শুধুমাত্র চারটি হপ নেয় (নিম্ন ব্যান্ডউইথ-এ), যা উল্লম্ব বিলম্বতা হ্রাস করে। ক্যাবিনেট এবং এক্সাপোড ডোজো একটি ক্যাবিনেটে উল্লম্বভাবে টাইলগুলি স্ট্যাক করে যাতে তাদের মধ্যে দূরত্ব এবং যোগাযোগের সময় হ্রাস করা যায়। দোজো এক্সাপড সিস্টেমে 120টি টাইল রয়েছে, মোট 1,062,000 ব্যবহারযোগ্য কোর, যা 20টি এক্সফ্লপ পর্যন্ত পৌঁছেছে। সফ্টওয়্যার ডোজো পাইটর্চ কাঠামোকে সমর্থন করে, "সি বা সি + + এর মতো নিম্ন স্তরের কিছুই নয়, সিইউডিএ-এর মতো দূরবর্তী কিছু নয়"। এসআরএএম একটি একক ঠিকানা স্থান হিসাবে উপস্থাপন করে। যেহেতু এফ. পি. 32-এর এআই কাজের জন্য প্রয়োজনের চেয়ে বেশি নির্ভুলতা এবং পরিসীমা রয়েছে এবং এফ. পি. 16-এর যথেষ্ট পরিমাণ নেই, তাই টেসলা 8-এবং 16-বিট কনফিগারযোগ্য ফ্লোটিং পয়েন্ট ফরম্যাট (যথাক্রমে সি. এফ. ফ্লোট 8 এবং সি. এফ. ফ্লোট 16) তৈরি করেছে যা সংকলককে গতিশীলভাবে মান্টিসা এবং সূচক নির্ভুলতা সেট করার অনুমতি দেয়, দ্রুত ভেক্টর প্রক্রিয়াকরণ এবং হ্রাসকৃত সঞ্চয় প্রয়োজনীয়তার বিনিময়ে কম নির্ভুলতা গ্রহণ করে। তথ্যসূত্র বাইরের লিঙ্ক ডোজো সুপারকম্পিউটার কম্পিউটার ভিশন