Faits: A. En vue de conclure un contrat d'assurance-maladie avec Z._ SA, X._ a rempli deux questionnaires de santé, les 18 mai et 7 juin 2004. Il ressort des réponses à ces questionnaires que le proposant niait souffrir du diabète, avoir été opéré ou traité par rayons, avoir séjourné dans un hôpital ou encore qu'il y ait eu, dans sa famille proche des cas, notamment, de diabète et de maladies du coeur. Il a également déclaré n'avoir pas consulté un médecin au cours des cinq années précédentes et n'avoir pas été en incapacité de travail plus de quatre semaines pendant la même période. S'étant renseigné auprès du médecin traitant du proposant, l'assureur a appris, en juillet 2004, que ce dernier avait eu un infarctus fin 1999, avait été opéré d'une hernie en 1998 et présentait une surcharge pondérale. Au vu de ces informations, l'assureur a décidé, au moment de conclure le contrat d'assurance, d'exclure toute prestation en cas d'incapacité de travail due à une affection cardiaque ou respiratoire. Dès le mois d'août 2005, X._ s'est trouvé dans l'incapacité de travailler en raison de douleurs aux jambes, ce qu'il communiqua à l'assureur le 14 novembre 2005. A la demande de l'assureur, le médecin traitant délivra le 22 novembre 2005 un certificat dont il ressort que l'assuré souffre de diabète depuis l'automne 2004, qu'il a été hospitalisé neuf jours en fin d'année 2004 et qu'il a été en arrêt de travail quatre fois en 2005. Etait joint à ce certificat un rapport daté du 31 janvier 2005 émanant de l'Hôpital A._, qui faisait état d'un diabète, de trois opérations et d'antécédents familiaux pour le diabète. Par courrier du 8 décembre 2005 adressé à X._, l'assureur invoqua une réticence au sens de l'art. 6 LCA et déclara résoudre le contrat d'assurance en application de l'art. 25 LCA. L'assuré a contesté que les conditions légales d'une réticence soient remplies. B. Le 20 décembre 2006, X._ a ouvert action contre Z._ SA auprès des tribunaux neuchâtelois, concluant à ce que l'assureur soit condamné à lui payer la somme de 110'000 fr. avec intérêts à 5 % dès le 25 août 2005. L'assureur a conclu au rejet de la demande. Par jugement du 25 mai 2011, la Cour civile du Tribunal cantonal neuchâtelois a rejeté la demande avec suite de frais et dépens. Saisie d'un appel formé par l'assuré, la Cour d'appel civile du Tribunal cantonal neuchâtelois, par arrêt du 14 mai 2012, a rejeté l'appel avec suite de frais et dépens. C. X._ exerce un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal du 14 mai 2012. Invoquant une appréciation arbitraire des preuves ayant conduit à une violation du droit fédéral, il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué, au constat qu'il n'a pas commis de réticence, que les réticences invoquées l'ont été tardivement, que la police d'assurance était valable au moment de la survenance du risque et demande en conséquence que sa partie adverse soit condamnée à lui payer la somme de 110'000 fr. avec intérêts à 5 % dès le 25 août 2005; subsidiairement, il requiert le renvoi de la cause à la cour cantonale pour nouvelle décision. L'assureur a conclu au rejet du recours dans la mesure où il est recevable avec suite de frais et dépens. 