ИИ без фреймворков с нуля?
проблема в том, что нужно сформулировать математически ли, алгоритмически, что такое ИИ. Нейросеть это не ИИ, но может быть частным случаем какой-то функции ИИ и соответственно так называться, что является большим упрощением. 
поэтому у меня предложение - сформулируйте сначала задачу. но не в философском смысле, а в практическом. например, я хочу сделать нейросеть, которая отличит собаку от кошки. и тогда уже можно двигаться дальше. 
а фреймворки просто позволяют не писать велосипедов.
нейросеть? да математика за 9 классов и две главы из книги Каллана прочитать. делов-то