Faits: A. X._, né en 1975 et de nationalité pakistanaise, a demandé l'asile en Suisse en 1999, qui lui a été refusé par décision du 9 novembre 2001. Un délai pour quitter la Suisse au 29 avril 2002 lui a été imparti. Le 4 mars 2002, il a épousé à Zurich A._, née en 1956, originaire de Thaïlande, de nationalité canadienne et titulaire d'une autorisation d'établissement. A la suite de ce mariage, X._ a obtenu une autorisation de séjour le 10 avril 2002, régulièrement prolongée. Le 7 mars 2007, une autorisation d'établissement lui a été accordée. Le divorce des époux X._-A._ a été prononcé le 10 décembre 2007. Le 30 novembre 2008, une demande de regroupement familial a été déposée à l'Ambassade de Suisse à Islamabad pour B._, après un mariage célébré le 14 octobre 2008 avec X._, et leurs deux enfants, C._, née le *** 2005 et D._, née le *** 2008. Selon les renseignements recueillis par l'Ambassade de Suisse, X._ et B._ avaient déjà été mariés en 2004 selon le droit coranique et B._ estimait être mariée depuis cette date. L'autorisation d'établissement de X._ a été révoquée par décision du Service des migrations du canton de Neuchâtel (ci-après le Service des migrations) du 13 janvier 2010 et la demande de regroupement familial considérée comme sans objet. Le Service des migrations a retenu que l'octroi d'une telle autorisation dépendait d'un mariage impliquant une vie en ménage commun, ce qui semblait douteux en l'espèce puisque la requête en divorce d'avec A._ avait été déposée moins de cinq mois après l'octroi de l'autorisation d'établissement. En outre, X._ avait caché aux autorités compétentes son mariage en 2004 avec une ressortissante du Pakistan et la naissance de leurs deux filles. Le Service des migrations a relevé enfin que X._ ne se trouvait pas dans une situation d'extrême gravité justifiant l'octroi d'une autorisation exceptionnelle. B. X._ a recouru le 11 février 2010 contre cette décision devant le Département de l'économie du canton de Neuchâtel, qui a rejeté le recours le 7 septembre 2010. Par acte du 8 octobre 2010, X._ a recouru au Tribunal administratif du canton de Neuchâtel, dont les compétences ont été reprises par la Cour de droit public du Tribunal cantonal de Neuchâtel (ci-après le Tribunal cantonal) depuis le 1er janvier 2011. Par arrêt du 24 février 2012, le Tribunal cantonal a rejeté le recours de X._. C. Par acte du 27 mars 2012, X._ dépose un recours en matière de droit public au Tribunal fédéral. Il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt du 24 février 2012, au maintien de son autorisation d'établissement et à l'admission de la demande de regroupement familial. Subsidiairement, il requiert le renvoi de la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Le Tribunal cantonal, le Service des migrations et le Département de la justice, de la sécurité et des finances du canton de Neuchâtel, ainsi que l'Office fédéral des migrations ont renoncé à déposer des observations et conclu au rejet du recours. Par ordonnance du 2 avril 2012, l'effet suspensif a été accordé au recours. 