Faits: A. A.a Dame A._, née en 1945, et A._, né en 1943, se sont mariés le 4 avril 1968 à Nidau (BE), sans conclure de contrat de mariage. Deux enfants, nés le 27 juillet 1968 et le 28 juin 1971, sont issus de cette union. A.b Le 7 mai 1980, A._ a été inscrit au registre foncier comme propriétaire de l'immeuble formant la parcelle N° 5773 du cadastre de X._ (NE), en exécution d'un pacte d'emption passé le 22 janvier 1980. Le prix d'acquisition, s'élevant à 285'000 fr., a notamment été financé avec les économies réalisées par les époux A._ entre 1979 et 1980, alors qu'ils tenaient une boulangerie à Y._ (BE), ainsi que par le biais d'un crédit hypothécaire auprès de la Banque Cantonale Neuchâteloise, dont le mari est seul débiteur. B. B.a Par ordonnance de mesures protectrices de l'union conjugale rendue le 11 novembre 2003, le président du Tribunal civil du district de Neuchâtel a autorisé les époux à vivre séparés, attribuant le domicile conjugal à l'épouse et fixant un délai au 31 décembre 2003 au mari pour le quitter. L'époux est parti à cette date et la vie commune n'a pas repris depuis lors. B.b Le 19 janvier 2007, A._ a déposé une requête unilatérale en divorce devant le Tribunal civil du district de Neuchâtel, concluant notamment à ce que sa propriété sur l'immeuble soit reconnue, avec fixation d'une créance de l'épouse en liquidation du régime matrimonial et partage légal des prestations de sortie en matière de prévoyance professionnelle. Le 3 avril 2007, dame A._ a déposé un mémoire d'acquiescement partiel, réponse et demande reconventionnelle, acquiesçant au prononcé du divorce ainsi qu'au partage de la prestation de sortie du mari et concluant reconventionnellement, notamment, à ce que l'immeuble de X._ lui soit attribué. Les 26 mai, respectivement 4 juin 2009, les époux ont signé une convention réglant partiellement les effets accessoires du divorce et par laquelle chacune des parties reconnaissait devoir un montant de 132'140 fr. 85 à l'autre époux en cas d'attribution à son profit du bien immobilier litigieux. Par jugement du 8 juin 2010, le Tribunal civil du district de Neuchâtel a notamment ratifié dite convention, prononcé le divorce des époux A._ et reconnu A._ comme seul propriétaire du bien-fonds N° 5773 du cadastre de X._. B.c Statuant sur appel de dame A._, le Tribunal cantonal du canton de Neuchâtel a, par arrêt du 13 décembre 2011, partiellement réformé ledit jugement en ce sens qu'il a constaté notamment que les époux A._ étaient en réalité copropriétaires de l'immeuble formant la parcelle N° 5773 du cadastre de X._ (ch. 2), attribué celui-ci à dame A._ en application de l'art. 205 al. 2 CC et donné acte aux parties que dame A._ verserait à A._ la somme de 132'140 fr. 85 en contrepartie de cette attribution (ch. 3), dit que dame A._ sera seule débitrice, dans les rapports internes avec son ex-époux, de l'emprunt hypothécaire contracté auprès de la Banque Cantonale Neuchâteloise (ch. 4) et ordonné l'inscription au registre foncier de l'épouse comme seule propriétaire dudit immeuble à charge pour elle de supporter les frais de cette inscription (ch. 5). C. Le 27 janvier 2012, A._ a formé un recours en matière civile auprès du Tribunal fédéral contre cet arrêt. Il conclut principalement à son annulation et à ce qu'il soit reconnu comme seul propriétaire de l'article 5773 du cadastre de X._; subsidiairement il conclut à l'annulation dudit arrêt et au renvoi de la cause à l'autorité cantonale pour nouvelle décision. A l'appui de ses conclusions, il invoque la violation du droit fédéral au sens de l'art. 95 al. 1 let. a LTF et plus particulièrement des art. 9, 205 al. 2 et 937 al. 1 CC, ainsi que l'établissement arbitraire des faits au sens de l'art. 97 al. 1 LTF. Invitées à se déterminer sur le recours, l'épouse a conclu à son rejet et l'autorité cantonale a renvoyé aux considérants de son arrêt. 