Faits: A. X._, domicilié à Y._ dans le canton de Nidwald, a habité de nombreuses années une maison familiale sise à Neuchâtel. Il a déménagé à Y._ en 2001, où il a loué successivement deux appartements avant d'y acquérir, le 2 octobre 2007, une maison. Le bien immobilier de Neuchâtel a été vendu le 25 mars 2008. Le Service des contributions du canton de Neuchâtel (ci-après: le Service des contributions), par décision de taxation du 29 août 2008, puis par décision sur réclamation du 10 novembre 2008, a estimé que le gain immobilier réalisé lors de la vente de la maison de Neuchâtel ne pouvait faire l'objet d'une imposition différée. Il a jugé que toutes les conditions permettant une imposition différée du gain immobilier n'étaient pas réalisées puisque la maison de Neuchâtel ne constituait plus le domicile principal du recourant au moment de la vente. B. Le Tribunal fiscal de la République et canton de Neuchâtel, par jugement du 16 février 2010, puis la Cour de droit public du Tribunal cantonal de la République et Canton de Neuchâtel (ci-après: le Tribunal cantonal), par arrêt du 11 mai 2011, ont rejeté le recours de X._ pour le même motif. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 11 mai 2011 du Tribunal cantonal et de lui renvoyer la cause pour une nouvelle décision conforme aux considérants de l'arrêt du Tribunal fédéral, subsidiairement, de dire que l'impôt sur le gain immobilier dû à la suite de la vente du 25 mars 2008 doit être différé en tenant compte du réinvestissement opéré pour l'acquisition d'un bien de remplacement. Le Service des contributions, le Tribunal cantonal et l'Administration fédérale des contributions concluent au rejet du recours sous suite de frais. Par ordonnance du 17 juin 2011, le Président de la IIe Cour de droit public du Tribunal fédéral a rejeté la demande d'effet suspensif. 