T-розподілене вкладення стохастичної близькості
T-розподілене вкладення стохастичної близькості (, t-SNE) — це метод машинного навчання візуалізації даних, розроблений Лоренсом ван дер Маатеном і Джефрі Гінтоном. Це зручний  шляхом вкладення багатовимірних даних у дво- або тривимірний простір для подальшої візуалізації. Зокрема, він відображає кожну точку багатовимірного простору в дво- або тривимірну точку евклідового простору так, що подібні об'єкти розташовуються поруч, а несхожі об'єкти відповідають віддаленим точкам з високою ймовірністю.

Алгоритм t-SNE складається з двох основних етапів. Спочатку, t-SNE створює розподіл імовірностей по парах багатовимірних об'єктів таким чином, що подібні об'єкти мають високу ймовірність бути вибраними, у той час як несхожі точки мають надзвичайно малу ймовірність бути вибраними разом. Далі, t-SNE визначає подібний розподіл ймовірностей для точок у карті низьковимірного простору та мінімізує розбіжності за відстанню Кульбака–Лейблера між двома розподілами за місцем розташування точок на карті. Зверніть увагу, що хоч оригінальний алгоритм і використовує евклідову відстань між об'єктами, як основну метрику подібності об'єктів, проте, вона може бути змінена при необхідності.

t-SNE використовується для візуалізації в різноманітних застосунках, таких як дослідження по комп'ютерній безпеці, аналізу музики, , біоінформатики, та біомедичній обробці сигналів. Він часто використовується для візуалізації високорівневих представлень, отриманих за допомогою штучної нейронної мережі.

Хоча візуалізації отримані за допомогою t-SNE часто використовуються для відображення кластерів, отримане зображення може суттєво залежати від обраної параметризації і тому потрібне глибоке розуміння параметрів, які використовуються для t-SNE. Навіть для некластеризованих даних можуть з'явитись «кластери», що може привести до помилкових висновків. Тим самим, для правильного підбору параметрів і перевірки результатів може бути потрібне інтерактивне дослідження даних. Було продемонстровано, що t-SNE часто здатний відновлювати добре розділені кластери, та зі спеціальним вибором параметрів, він наближається до простої форми спектральної кластеризації.

Деталі 
Для даного набору  багатовимірних об'єктів  t-SNE спочатку обчислює ймовірності  пропорційні схожості  і  наступним чином:

 

Ван дер Маатен та Гінтон пояснюють такий вибір відстані наступним чином: «подібність точки даних  до точки даних  — це умовна ймовірність, , що  вибрав би  як свого сусіда, якби сусіди були обрані пропорційно їх гаусовій густині ймовірності з центром в .»

 

Більш того, коли , ймовірності дорівнюють нулю: 

Пропускна здатність Гаусового ядра встановлюється за допомогою методу бісекції так, що перплексивність умовного розподілу дорівнює попередньо визначеній перплексивності. У результаті пропускна здатність адаптується до густини даних: менші значення  використовуються у більш густих частинах даних.

Через те що Гаусове ядро використовує евклідову відстань , то, у випадку дуже високої розмірності даних, слід мати на увазі ефект прокляття розмірності, коли відстані втрачають здатність до розділення і  стають дуже схожими (асимптотично, вони збігаються до константи).
Для пом'якшення цього ефекту запропоновано регулювати відстані степеневим перетворенням, спираючись на  кожної точки.

t-SNE намагається дізнатись -вимірне відображення  (де ), яке відображає подібність  наскільки це можливо. З цією метою він вимірює схожість  між двома точками відображення  та  за допомогою аналогічного підходу. Зокрема,  визначається як:

 

Тут використовується T-розподіл Стьюдента з обважнілим кінцем (з одним ступенем свободи, який є по суті розподілом Коші) для вимірювання подібностей між точками у низьковимірному просторі для того, щоб різнорідні об'єкти були змодельовані далеко один від одного при відображенні. Зверніть увагу, що в даному випадку ми прирівнюємо 

Координати точок  при відображенні визначаються шляхом мінімізації (несиметричної) відмінності по мірі Кульбака–Лейблера розподілу  від розподілу , тобто:

 

Мінімізація розбіжностей Кульбака–Лейблера по точкам  здійснюється за допомогою градієнтного спуску. Результатом такої оптимізації є відображення, яке добре зберігає подібність між входовими даними високої розмірності.

Програмне забезпечення 

 t-SNE від Лоренса ван дер Маатена https://lvdmaaten.github.io/tsne/ 
  містить t-SNE. Див. https://github.com/elki-project/elki/blob/master/elki/src/main/java/de/lmu/ifi/dbs/elki/algorithm/projection/TSNE.java

Примітки

Посилання 

 Візуалізація даних за допомогою t-SNE , Google Tech Talk про t-SNE
 Реалізація t-SNE різними мовами програмування , список посилань підтримує Лоренс ван дер Маатен
 

Алгоритми машинного навчання
T - розподілене вкладення стохастичної близькості ( , t-SNE ) — це метод машинного навчання візуалізації даних , розроблений Лоренсом ван дер Маатеном і Джефрі Гінтоном . Це зручний шляхом вкладення багатовимірних даних у дво - або тривимірний простір для подальшої візуалізації . Зокрема , він відображає кожну точку багатовимірного простору в дво - або тривимірну точку евклідового простору так , що подібні об'єкти розташовуються поруч , а несхожі об'єкти відповідають віддаленим точкам з високою ймовірністю . Алгоритм t-SNE складається з двох основних етапів . Спочатку , t-SNE створює розподіл імовірностей по парах багатовимірних об'єктів таким чином , що подібні об'єкти мають високу ймовірність бути вибраними , у той час як несхожі точки мають надзвичайно малу ймовірність бути вибраними разом . Далі , t-SNE визначає подібний розподіл ймовірностей для точок у карті низьковимірного простору та мінімізує розбіжності за відстанню Кульбака – Лейблера між двома розподілами за місцем розташування точок на карті . Зверніть увагу , що хоч оригінальний алгоритм і використовує евклідову відстань між об'єктами , як основну метрику подібності об'єктів , проте , вона може бути змінена при необхідності . t-SNE використовується для візуалізації в різноманітних застосунках , таких як дослідження по комп'ютерній безпеці , аналізу музики , , біоінформатики , та біомедичній обробці сигналів . Він часто використовується для візуалізації високорівневих представлень , отриманих за допомогою штучної нейронної мережі . Хоча візуалізації отримані за допомогою t-SNE часто використовуються для відображення кластерів , отримане зображення може суттєво залежати від обраної параметризації і тому потрібне глибоке розуміння параметрів , які використовуються для t-SNE . Навіть для некластеризованих даних можуть з'явитись « кластери » , що може привести до помилкових висновків . Тим самим , для правильного підбору параметрів і перевірки результатів може бути потрібне інтерактивне дослідження даних . Було продемонстровано , що t-SNE часто здатний відновлювати добре розділені кластери , та зі спеціальним вибором параметрів , він наближається до простої форми спектральної кластеризації . Деталі Для даного набору багатовимірних об'єктів t-SNE спочатку обчислює ймовірності пропорційні схожості і наступним чином : Ван дер Маатен та Гінтон пояснюють такий вибір відстані наступним чином : « подібність точки даних до точки даних — це умовна ймовірність , , що вибрав би як свого сусіда , якби сусіди були обрані пропорційно їх гаусовій густині ймовірності з центром в \ . » Більш того , коли , ймовірності дорівнюють нулю : Пропускна здатність Гаусового ядра встановлюється за допомогою методу бісекції так , що перплексивність умовного розподілу дорівнює попередньо визначеній перплексивності . У результаті пропускна здатність адаптується до густини даних : менші значення використовуються у більш густих частинах даних . Через те що Гаусове ядро використовує евклідову відстань , то , у випадку дуже високої розмірності даних , слід мати на увазі ефект прокляття розмірності , коли відстані втрачають здатність до розділення і стають дуже схожими ( асимптотично , вони збігаються до константи ) . Для пом'якшення цього ефекту запропоновано регулювати відстані степеневим перетворенням , спираючись на кожної точки . t-SNE намагається дізнатись - вимірне відображення ( де ) , яке відображає подібність наскільки це можливо . З цією метою він вимірює схожість між двома точками відображення та за допомогою аналогічного підходу . Зокрема , визначається як : Тут використовується T-розподіл Стьюдента з обважнілим кінцем ( з одним ступенем свободи , який є по суті розподілом Коші ) для вимірювання подібностей між точками у низьковимірному просторі для того , щоб різнорідні об'єкти були змодельовані далеко один від одного при відображенні . Зверніть увагу , що в даному випадку ми прирівнюємо Координати точок при відображенні визначаються шляхом мінімізації ( несиметричної ) відмінності по мірі Кульбака – Лейблера розподілу від розподілу , тобто : Мінімізація розбіжностей Кульбака – Лейблера по точкам здійснюється за допомогою градієнтного спуску . Результатом такої оптимізації є відображення , яке добре зберігає подібність між входовими даними високої розмірності . Програмне забезпечення t-SNE від Лоренса ван дер Маатена https://lvdmaaten.github.io/tsne/ містить t-SNE . Див . https://github.com/elki-project/elki/blob/master/elki/src/main/java/de/lmu/ifi/dbs/elki/algorithm/projection/TSNE.java Примітки Посилання Візуалізація даних за допомогою t-SNE , Google Tech Talk про t-SNE Реалізація t-SNE різними мовами програмування , список посилань підтримує Лоренс ван дер Маатен Алгоритми машинного навчання