Нормально ли что при работе через Docker у меня заметно тормозит app?
Docker - это средство контейнеризации исключительно Linux (хотя и FreeBSD можно там взвести внутри).
Таким образом, изнчально нам нужно РАБОТАЮЩЕЕ ядро Linux.
Если вы используете Docker под Linux - проблем с этим нет. Запуск контейнера почти мгновенный. 
Если вы используете Docker под Windows или MacOSX, то нужно сначала загрузить сам Linux для того, чтобы уже там загружать контейнеры.
В реальных системах боевых - Docker запускают ТОЛЬКО на Linux серверах. Но для отладки вы можете делать это где угодно. Только смиритесь с тем, что если это будет не под Linux, то запуск будет долгим.
Резюмирую:
Под Linux запуск приложения в Docker - это всего лишь контейнер, то есть всего лишь изоляция вызовов API операционной системы.
Под не-Linux запуск приложения в Docker требует изначально запуска самого Linux в виртуальной машине.
a хостовая система какая?
следует понимать, что везде кроме пингвина докер - это виртуализация и, соответственно, дополнительный оверхед и/или неожиданные тормоза (например, в макоси "виртуальный" докер работает быстрее "нативного").