Тензорний блок обробки
Тензорний блок обробки () — це інтегральна схема специфічного застосування (ASIC) призначена для прискорення розрахунків штучного інтелекту, що була розроблена компанією Google спеціально для машинного навчання нейронних мереж.

Огляд 
Тензорний блок обробки був анонсований у травні 2016 року на конференції Google I/O, де компанія оголосила, що TPU вже більше року використовується в її дата-центрах. Чип було розроблено спеціально для програмного каркаса TensorFlow, математичної бібліотеки символьних обчислень, що використовується для таких застосунків машинного навчання як штучні нейронні мережі. Водночас Google продовжував використовувати центральні і графічні процесори для інших видів машинного навчання. Окрім тензорного блоку від Google, з'являються й інші різновиди прискорювачів штучного інтелекту від інших виробників, що, зокрема, націлені на ринки вбудованої електроніки та робототехніки.

TPU є власністю Google і комерційно не розповсюджується, хоча 12 лютого 2018 року The New York Times повідомила, що Google «дозволить іншим компаніям купувати доступ до цих чипів за допомогою служби хмарних обчислень». Google стверджує, що TPU були використані в серії ігор у ґо комп'ютера проти людини, у яких програма AlphaGo здобула перемогу над корейський майстром Лі Седолом, а також у системі AlphaZero, яка навчилася грати у шахи, сьоґі і ґо на надлюдському рівні знаючи лише правила цих ігор та здобула перевагу над іншими провідними програмами в цих іграх. Google також використовувала TPU для обробки тексту в Google Street View і змогла знайти весь текст у власній базі даних менш ніж за п'ять днів. В Google Фото окремий TPU може обробляти більше 100 мільйонів фотографій на день. TPU також використовується в системі RankBrain, яку Google використовує для надання результатів пошуку.

У порівнянні з графічним процесором, TPU розрахований на великі обсяги обчислень з низькою точністю (наприклад, лише 8-бітною точністю), з вищою кількістю операцій вводу-виводу в секунду на ват. У TPU відсутністі апаратні засоби для растрування/відображення текстур. Чип TPU монтується разом із радіатором та може розміститися в гнізді жорсткого диска в стійці центру обробки даних.

У 2018 році TPU були використані для навчання ботів, що грають у StarCraft, поширену комп'ютерну стратегію реального часу. Таким чином комп'ютер вперше зміг здобути переконливу перемогу над професійними гравцями. Для навчання боти (окремі версії програми) грали між собою у турнір. Кожен бот використовував 16 тензорних процесорів TPU (що, за словами керівника DeepMind, відповідало потужності близько 50 графічних процесорів). Натреновані таким чином на тензорних блоках нейронні мережі були застосовані на типовому графічному процесорі для гри проти професійних гравців-людей.

Покоління

Перше покоління 
TPU першого покоління є 8-бітним процесором множення матриць, який керується командами CISC від головного процесора через шину PCIe 3.0. Він виготовлений на процесі 28 нм з розміром кристалу ≤ 331 мм2. Тактова частота 700 МГц, тепловий розрахунок на потужність 28-40 Вт. Має 28 МіБ пам'яті на чипі і 4 МіБ 32-розрядних акумуляторів, які отримують результати систолічного масиву розміру 256х256 з 8-бітних множників. Всередині TPU також міститься 8 ГіБ двоканальної оперативної пам'яті DDR3 SDRAM з частотою 2133 МГц, що пропонує 34 Гб/с пропускної спроможності. Команди переносять дані на або з головного процесора, виконують множення матриць, згортки, застосовують функції активації.

Друге покоління 
TPU другого покоління було анонсовано у травні 2017 року. У Google заявили, що продуктивність першого покоління TPU була обмеженою через недостатню пропускну здатність оперативної пам'яті. У другому поколінні було використано 16 Гб пам'яті , через що пропускна здатність збільшилася до 600 Гб/с, а продуктивність — до 45 TFLOPS. Нові TPU було об'єднано в модулі з чотирьох чипів із загальною продуктивністю 180 TFLOPS. 64 таких модулі об'єднувалися у блоки модулів із 256-ма чипами та загальною продуктивністю 11,5 PFLOPS. В той час як TPU першого покоління обмежувалися цілими числами, TPU другого покоління також можуть обчислювати числа з рухомою комою. Це робить TPU другого покоління корисними як для навчання, так і для застосування моделей машинного навчання. У Google заявили, що TPU другого покоління будуть доступні на Google Compute Engine для використання у застосунках TensorFlow.

Третє покоління 
TPU третього покоління було анонсовано 8 травня 2018 року. Google оголосив, що самі процесори вдвічі потужніші, ніж TPU другого покоління, а кожен блок модулів міститиме вчетверо більше чипів, ніж в попередньому поколінні. Відтак, кожен блок модулів буде увосьмеро продуктивнішим порівняно з другим поколінням.

Див. Також 
 Зоровий процесор — подібний пристрій спеціалізований для машинного зору.
 Структурний тензор, математична основа тензорних блоків обробки
 ШІ-прискорювач

Примітки

Посилання 
 Фото чипу та плати Google TPU
 Фотографія платформи Google TPU v2
 Фотографія платформи Google TPU v3
 Фотографія модуля TPU v2 від Google

Процесори
Технології процесорів
Машинне навчання
ШІ-прискорювачі
Тензорний блок обробки ( ) — це інтегральна схема специфічного застосування ( ASIC ) призначена для прискорення розрахунків штучного інтелекту , що була розроблена компанією Google спеціально для машинного навчання нейронних мереж . Огляд Тензорний блок обробки був анонсований у травніроку на конференції Google I / O , де компанія оголосила , що TPU вже більше року використовується в її дата - центрах . Чип було розроблено спеціально для програмного каркаса TensorFlow , математичної бібліотеки символьних обчислень , що використовується для таких застосунків машинного навчання як штучні нейронні мережі . Водночас Google продовжував використовувати центральні і графічні процесори для інших видів машинного навчання . Окрім тензорного блоку від Google , з'являються й інші різновиди прискорювачів штучного інтелекту від інших виробників , що , зокрема , націлені на ринки вбудованої електроніки та робототехніки . TPU є власністю Google і комерційно не розповсюджується , хочалютогороку The New York Times повідомила , що Google « дозволить іншим компаніям купувати доступ до цих чипів за допомогою служби хмарних обчислень » . Google стверджує , що TPU були використані в серії ігор у ґо комп'ютера проти людини , у яких програма AlphaGo здобула перемогу над корейський майстром Лі Седолом , а також у системі AlphaZero , яка навчилася грати у шахи , сьоґі і ґо на надлюдському рівні знаючи лише правила цих ігор та здобула перевагу над іншими провідними програмами в цих іграх . Google також використовувала TPU для обробки тексту в Google Street View і змогла знайти весь текст у власній базі даних менш ніж за п'ять днів . В Google Фото окремий TPU може обробляти більшемільйонів фотографій на день . TPU також використовується в системі RankBrain , яку Google використовує для надання результатів пошуку . У порівнянні з графічним процесором , TPU розрахований на великі обсяги обчислень з низькою точністю ( наприклад , лишебітною точністю ) , з вищою кількістю операцій вводу - виводу в секунду на ват . У TPU відсутністі апаратні засоби для растрування / відображення текстур . Чип TPU монтується разом із радіатором та може розміститися в гнізді жорсткого диска в стійці центру обробки даних . Уроці TPU були використані для навчання ботів , що грають у StarCraft , поширену комп'ютерну стратегію реального часу . Таким чином комп'ютер вперше зміг здобути переконливу перемогу над професійними гравцями . Для навчання боти ( окремі версії програми ) грали між собою у турнір . Кожен бот використовувавтензорних процесорів TPU ( що , за словами керівника DeepMind , відповідало потужності близькографічних процесорів ) . Натреновані таким чином на тензорних блоках нейронні мережі були застосовані на типовому графічному процесорі для гри проти професійних гравців - людей . Покоління Перше покоління TPU першого покоління єбітним процесором множення матриць , який керується командами CISC від головного процесора через шину PCIe0 . Він виготовлений на процесінм з розміром кристалу ≤мм2 . Тактова частотаМГц , тепловий розрахунок на потужністьВт . МаєМіБ пам'яті на чипі іМіБрозрядних акумуляторів , які отримують результати систолічного масиву розміру256 збітних множників . Всередині TPU також міститьсяГіБ двоканальної оперативної пам'яті DDR3 SDRAM з частотоюМГц , що пропонуєГб / с пропускної спроможності . Команди переносять дані на або з головного процесора , виконують множення матриць , згортки , застосовують функції активації . Друге покоління TPU другого покоління було анонсовано у травніроку . У Google заявили , що продуктивність першого покоління TPU була обмеженою через недостатню пропускну здатність оперативної пам'яті . У другому поколінні було використаноГб пам'яті , через що пропускна здатність збільшилася доГб / с , а продуктивність — доTFLOPS . Нові TPU було об'єднано в модулі з чотирьох чипів із загальною продуктивністюTFLOPS . таких модулі об'єднувалися у блоки модулів ізма чипами та загальною продуктивністю5 PFLOPS . В той час як TPU першого покоління обмежувалися цілими числами , TPU другого покоління також можуть обчислювати числа з рухомою комою . Це робить TPU другого покоління корисними як для навчання , так і для застосування моделей машинного навчання . У Google заявили , що TPU другого покоління будуть доступні на Google Compute Engine для використання у застосунках TensorFlow . Третє покоління TPU третього покоління було анонсованотравняроку . Google оголосив , що самі процесори вдвічі потужніші , ніж TPU другого покоління , а кожен блок модулів міститиме вчетверо більше чипів , ніж в попередньому поколінні . Відтак , кожен блок модулів буде увосьмеро продуктивнішим порівняно з другим поколінням . Див . Також Зоровий процесор — подібний пристрій спеціалізований для машинного зору . Структурний тензор , математична основа тензорних блоків обробки ШІ - прискорювач Примітки Посилання Фото чипу та плати Google TPU Фотографія платформи Google TPU v2 Фотографія платформи Google TPU v3 Фотографія модуля TPU v2 від Google Процесори Технології процесорів Машинне навчання ШІ - прискорювачі