Какие книги для начинающего по Data Science?
Вопрос несколько странный ввиду реально НЕСМЕТНОГО количества книг по DS, 
BD, ML вышедших в последнее время. На любых языках, для любого стартового уровня образования, с прицелом на различные инструменты.  Берите любую и начинайте учить. Когда что-то станет ясно и захочется углубить или наоборот, когда что-то станет непонятно - ищете целенаправлено другой источник, в котором уже известная вам тема изложена глубже или яснее. И так двигаетесь, расширя свой кругозор в тема.
Если сложно самомунайти - есть уже составленные списки, например:
https://ru.stackoverflow.com/questions/Книги-и-уче...
Или 
https://www.learndatasci.com/free-data-science-books/
И подсказок в сети тысячи - как, что и в каком порядке учить. Например:
https://proglib.io/p/learn-data/
Вот куча дополнительных ресурсов.
www.7wdata.be
https://www.datasciencecentral.com
https://datascienceplus.com
https://www.kdnuggets.com
https://www.analyticsvidhya.com
https://towardsdatascience.com
Удачи.
P.S. " стоит выбор между К.Доугерти "Введение в эконометрику" и Гмурман "Теория вероятностей и математическая статистика" - может ктото может подсказать принципиальную разницу между этими книгами?" 
----> Принципиальная разница: Гмурман дает общую теорию, хорошую основу, универсальный учебник.
Доугерти больше ориентирован на специализированную нишу экономических и социальных задач.
Оба неплохи для изучения статистики на соответствующих специальностях в универе.
Начинать с нихсамостоятельное изучение  я бы не рекомендовал. Лучше гляньте список и рекомендации, приведенные выше и из них выбирайте.
Нужно знать Python хорошо, в первую очередь, и решать задачки, а не теорию учить для DS. Библиотеки: Numpy, Pandas, Matplotblib, Scikilearn, Seaborn итд. в особенности.
Если уж хочется hardcore математики, то тогда сразу читать книгу от создателей этой науки ISLR by Gareth James (доступна бесплатно на сайте унивеститета в pdf).
Мне очень понравились лекции Jose Portilla на udemy.com. Вроде там еще есть лекции гражданина Еременко неплохие по теме, но я у него брал только курс по Tableau.
"Learn Data Analysis with Python" by Henley, Wolf: сейчас начал, но это только задачки и то что работодатели требуют для трудоусторйства по сути, а не пространственную теорию.