Faits: A. F.X._ (ci-après: l'assurée) a conclu avec Y._ Assurances SA (ci-après: l'assureur) un contrat d'assurance portant sur l'assurance obligatoire des soins ainsi que plusieurs assurances complémentaires soumises à la LCA dénommées "A._", "B._", "C._" et "D._". Selon les conditions générales incorporées au contrat, l'assurance complémentaire "B._" indemnise les frais de traitement et les frais hôteliers lors d'une hospitalisation en division privée d'un hôpital public ou dans une clinique qui figure dans la planification hospitalière d'un canton suisse, et ceci sans limite de durée (complètement d'office: art. 105 al. 2 LTF). Selon le chiffre 4.1.9 des conditions générales, sont exclus de l'assurance notamment "les cures d'air, de repos, d'ingestion d'eau et de thalassothérapie, les traitements de l'obésité, les corrections des défauts de la vue, les hospitalisations à caractère médico-social, ainsi que les séjours justifiés par des soins palliatifs en fin de vie, par des mesures diététiques, de réadaptation, de réhabilitation ou de traitement de la douleur". Quant à l'assurance complémentaire "A._", elle prévoit au chiffre 8.2 de ses conditions générales que l'assureur prend en charge "jusqu'à concurrence d'une facturation brute de 500 fr. par année civile, 80% des frais d'acquisition ou de location d'appareils médicaux et d'articles orthopédiques prescrits par le médecin-traitant". Le 9 novembre 2005, l'assureur a reçu, par fax, une demande de garantie d'hospitalisation de la part de la Clinique W._ à ... pour l'assurée. L'assureur a garanti la prise en charge des soins relatifs à la phase aiguë du traitement uniquement, jusqu'au 25 novembre 2005. Le 5 janvier 2006, la Clinique W._ a demandé à l'assureur de prolonger la garantie de prise en charge. L'assureur a requis des renseignements médicaux auprès de son médecin-conseil, lequel s'est mis en rapport avec le médecin-traitant, le Dr H._. Dans un courrier du 10 janvier 2006, ce dernier a expliqué que l'assurée souffrait d'une paraplégie des membres inférieurs, avec apparition d'un déficit au niveau des membres supérieurs qui entraînaient une impotence partielle et surtout une impossibilité de se rendre aux WC. A ce stade, il n'y avait toutefois pas de déficit respiratoire ni de troubles de la déglutition. L'assurée se trouvait "en attente" pour aller à l'hôpital de R._ et le Dr H._ avait pris contact également avec une unité de réadaptation à .... Divers établissements de réhabilitation avaient été contactés et un retour à domicile s'était avéré un échec. Par courrier du 8 février 2006 adressé à la Clinique W._, l'assureur a refusé de prendre en charge la part des frais relevant de l'hospitalisation privée pour le motif qu'il s'agissait, pour la période du 9 novembre 2005 au 31 janvier 2006, d'un séjour de réadaptation ou de soins palliatifs. L'assurée est décédée à l'hôpital V._ le 20 juin 2006 et a laissé pour héritier son époux H.X._. Dans un rapport du 7 août 2007, le Dr H._ a donné de nouvelles explications sur l'état de santé de l'assurée et son évolution. Il a confirmé sa lettre du 10 janvier 2006 en indiquant avoir effectué de nombreuses démarches auprès de plusieurs institutions telles que l'hôpital de R._, l'hôpital de S._ et l'institution de T._ qui ont toutes refusé la prise en charge de la patiente étant donné la gravité de son cas. Finalement, elle a été transférée à l'institution de U._ où l'aggravation de son état de santé a rendu nécessaire un transfert dans le département médical de l'hôpital V._. Le médecin conteste que le séjour à la Clinique W._ puisse être qualifié de prise en charge palliative ou de séjour de réadaptation. Dans un rapport médical du 27 septembre 2007, le Dr. I._, du service de neurologie de l'hôpital V._, a déclaré qu'il ne pouvait pas se déterminer sur le séjour de l'assurée à la Clinique W._. La facture établie le 30 novembre 2007 par la Clinique W._ mentionne exclusivement, pour la période litigieuse, de la physiothérapie et quelques médicaments, principalement destinés à calmer les douleurs de l'assurée, à l'exclusion de tout traitement de type aigu. Le 26 avril 2007, le technicien orthopédiste K._ a établi une facture concernant la location d'un fauteuil roulant et la fourniture de divers viatiques orthopédiques pour un montant de 2'182 fr.60 pour la période de septembre 2005 à juin 2006. L'assureur a pris en charge le 80% des frais de location du fauteuil roulant, au titre de l'assurance "A._", mais il n'a pas payé les autres accessoires orthopédiques; il a été retenu que ceux-ci n'avaient pas été prescrits par un médecin. B. Par demande du 24 juin 2008, H.X._ a introduit action contre Y._ Assurances SA, concluant à ce que cette dernière soit condamnée à verser à la succession de F.X._ la somme de 45'532 fr.15 avec intérêts à 5% l'an dès le 13 janvier 2006. Cette somme correspond à la part non couverte des frais d'hospitalisation en division privée à la Clinique W._ du 9 novembre 2005 au 31 janvier 2006, en y ajoutant le coût des accessoires orthopédiques qui n'ont pas été pris en considération. L'assureur s'est opposé à la demande en totalité. Par jugement du 26 septembre 2011, la Cour des assurances sociales du Tribunal cantonal vaudois a rejeté la demande. H.X._ a appelé de ce jugement. Il a sollicité notamment l'audition des Drs I._ et J._, ce qui fut refusé. Il a repris ses conclusions sur le fond. Par arrêt du 8 février 2012, la Cour d'appel civile du Tribunal cantonal vaudois a rejeté le recours et confirmé le jugement attaqué. C. H.X._ exerce un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal du 8 février 2012. Invoquant une violation des art. 57, 229 al. 3, 247 al. 2 et 243 al. 2 let. f CPC ainsi que de l'art. 33 LCA, il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué et reprend ses conclusions sur le fond; subsidiairement, il demande le renvoi de la cause à l'autorité précédente. L'intimée, qui plaide sans l'assistance d'un avocat, a conclu, sous suite de frais, au rejet du recours pour autant qu'il soit recevable. Les parties ont répliqué et dupliqué. 