Faits : A. A.a. En 1999, C._ s'est intéressé à l'achat d'un immeuble à Auvernier, appartenant à la société B._ SA (ci-après: B._), sur lequel était construit une bâtisse à vocation industrielle, et ce en vue de la transformer en habitation. Il s'est adressé à D._ SA (ci-après: D._), société active dans le courtage d'immeubles, filiale, comme B._, de E._ Group SA (ci-après: E._ Group). Il a entamé des pourparlers avec F._, employé de D._, sous réserve de l'acceptation d'un permis de construire et, après avoir visité l'immeuble, a fait, le 15 avril 2000, une offre de 550'000 fr., ajoutant qu'il serait en mesure de lever l'option dans un délai de 3 mois. Le 10 mai 2000, D._ lui a répondu que E._ Group était disposé à entrer en matière pour discuter et négocier la vente de cet immeuble, lui octroyant une option d'achat d'un délai de 3 mois. Le 5 août 2000, C._ a informé D._ qu'il était en mesure de lever l'option et prêt à signer l'achat de l'immeuble dès que les permis de construire et de transformer seraient définitifs. Le 7 septembre 2000, dans une lettre adressée au notaire mandaté par C._, D._ a toutefois suspendu la " transaction ", sur ordre de E._ Group. A.b. Le 20 octobre 2000, le notaire a confirmé aux parties que F._ lui avait donné mandat de réactiver cette affaire. Il leur a transmis un projet d'acte de promesse conditionnelle de vente et d'achat de l'immeuble en cause. Le 12 décembre 2000, le notaire a relancé D._. La promesse de vente n'a pas été signée. A.c. C._ a mandaté A._ pour entreprendre les démarches nécessaires à l'obtention du permis de construire. Le 12 janvier 2001, B._ a donné procuration à F._ pour signer les plans de construction. Le 22 janvier 2001, F._ a signé la demande de permis de construire comme propriétaire. Le 16 mars 2001, il a reçu un exemplaire des plans qu'il avait signés. La demande de permis de construire a été déposée le 23 avril 2001 et, la Commune ayant sollicité certaines modifications, une demande de permis modifiée a été déposée le 18 février 2002. La mise à l'enquête publique a eu lieu du 22 mars au 26 avril 2002. Il n'y a pas eu d'oppositions. A.d. S'en est suivi un échange de correspondances et, le 25 juin 2002, le notaire a adressé à F._ un premier projet d'acte de vente immobilière, le 1er juillet 2002 un deuxième, l'instrumentation devant avoir lieu le 5 juillet 2002. Les cédules hypothécaires ont été envoyées au notaire. Une nouvelle date d'instrumentation a été fixée au 17 juillet 2002. Le 18 juillet 2002, l'acheteur a versé le prix à l'étude du notaire. Le 16 août 2002, le notaire a adressé aux parties un acte de vente définitif. Le 6 septembre 2002, il s'est plaint de l'attitude de la venderesse, indiquant que F._ avait réactivé le dossier en juin 2002 et l'avait informé le 29 août 2002 qu'il ne comptait pas signer l'acte de vente, mais communiquerait sa réponse définitive début septembre 2002. Le 24 septembre 2002, la direction générale de E._ Group a informé le notaire que, dès le début des négociations, C._ avait été informé de ce que la vente était soumise à son accord et qu'elle n'était pas intéressée par cette vente. B. C._ lui ayant cédé tous ses droits à l'encontre de B._, A._ a ouvert action en paiement contre celle-ci devant le Tribunal cantonal du canton de Neuchâtel le 30 août 2005, concluant à ce que la société soit condamnée à lui payer le montant de 181'703 fr. 80 avec intérêts à 5% l'an dès le 24 septembre 2002. Au cours de la procédure d'instruction, il a été procédé notamment à l'audition du témoin F._, lequel a déclaré qu'il avait " toujours dit et répété à M. C._ qu'attention, la décision finale appartiendrait à E._ Group, même si la volonté de vendre subsistait et si le prix était définitivement convenu ", et qu'il ignorait pourquoi la vente ne s'était pas finalisée, ajoutant que cette décision soudaine l'avait surpris. La cause lui ayant été transférée à la suite de l'entrée en vigueur du CPC et de la loi d'organisation judiciaire neuchâteloise, le Tribunal civil du Littoral et du Val-de-Travers a, par jugement du 30 novembre 2012, admis partiellement la demande et condamné la défenderesse à verser au demandeur le montant de 73'012 fr. 75 avec intérêts à 5% l'an dès le 24 septembre 2002. Statuant le 10 mars 2014, la Cour d'appel civile du Tribunal cantonal du canton de Neuchâtel a admis l'appel de la défenderesse et, réformant le jugement de première instance, a rejeté la demande. C. Contre cet arrêt, le demandeur a interjeté un recours en matière civile au Tribunal fédéral le 6 avril 2014, concluant principalement à sa réforme en ce sens que la défenderesse est condamnée à lui verser une indemnité de 73'012 fr. 75 avec intérêts dès le 24 septembre 2002 et, subsidiairement, au renvoi de la cause à l'autorité précédente pour décision dans le sens des considérants. Il reproche à la cour cantonale d'avoir violé le droit fédéral, en niant l'existence d'une culpa in contrahendo alors qu'il y a eu rupture abusive des relations contractuelles. L'intimée conclut au rejet du recours. Les parties ont répliqué, respectivement dupliqué. 