С чего написать написание программы которая будет сама играть в Шахматы?
С чтения теории и составления математической модели и математического же алгоритма.
Вообще тема шахматных ботов заезжана и раскрыта хорошо. Машинное обучение тут в целом не нужно.
Есть такая нейронная сеть "Обучение с подкреплением" (я бы назвал "кнут и пряник") - Reinforcement Learning.
Можно сделать, как обучался ИИ по игре Го: одна программа играет с другой и каждый помогает друг другу настраивать нейронную сеть.
Пример из Матлаба, как учили робота ходить.