Faits: A. A.X._, né en 1945, et B.X._, née en 1948, ont habité depuis 1980 une villa sise à C._. Le 31 août 2004, A.X._ a annoncé son départ au contrôle des habitants de C._ pour la commune de D._ dans le canton de Zoug. Par décision du 13 novembre 2007, le Service des contributions du canton de Neuchâtel a considéré que les époux restaient néanmoins imposables de manière illimitée dans le canton de Neuchâtel pour la période fiscale 2004 et les suivantes. Par décision du 17 janvier 2008, B.X._ a été taxée seule et de manière définitive pour la période fiscale 2004 et de manière provisoire par décisions de taxation des 15 février 2007 et 22 novembre 2007 pour les périodes fiscales 2005 et 2006. Par décision du 6 février 2008, la réclamation de A.X._ contre la décision d'assujettissement du 13 novembre 2007 a été rejetée. Le domicile fiscal de l'intéressé demeurait dans le canton de Neuchâtel et les époux considérés comme un couple marié. Par arrêt du 26 avril 2010, le Tribunal fiscal du canton de Neuchâtel a jugé que l'intéressé avait conservé son domicile fiscal dans le canton de Neuchâtel pour les périodes fiscales 2005, 2006 et 2007. Pour la période fiscale 2008 en revanche, son domicile fiscal se trouvait dans le canton de Zoug. Par mémoire du 27 mai 2010, A.X._ a recouru contre l'arrêt du 26 avril 2010 auprès du Tribunal cantonal du canton de Neuchâtel. B. Par arrêt du 16 août 2011, le Tribunal cantonal du canton de Neuchâtel a rejeté le recours. C. Par mémoire du 16 septembre 2011, A.X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt rendu le 16 août 2011 par le Tribunal cantonal du canton de Neuchâtel et de dire que son domicile fiscal se trouve dans le canton de Zoug dès la période fiscale 2004. Il se plaint notamment de la constatation arbitraire des faits. Le Service des contributions, le Tribunal cantonal et l'Administration fédérale des contributions concluent au rejet du recours. B.X._ a déposé des observations sans prendre de conclusions. Bien qu'invitée à se déterminer, l'Administration fiscale du canton de Zoug n'a pas déposé d'observations. 