Faits: A. Par acte authentique du 19 octobre 2006, A._ (ci-après: le vendeur) a vendu à B._ (ci-après: l'acheteuse) un immeuble situé dans la commune de X._ dans le canton de Neuchâtel pour le prix de 1'470'000 fr. L'acte de vente conditionnelle et à terme contenait une clause selon laquelle les parties excluaient toute garantie relative aux défauts matériels, juridiques, apparents ou cachés du bien-fonds, des bâtiments et de leurs installations. Les parties déclaraient avoir été rendues attentives par le notaire aux conséquences de cette clause et à sa nullité en cas de dissimulation frauduleuse des défauts. Peu avant la signature de l'acte, soit le 4 octobre 2006, le vendeur avait télécopié au notaire quatre factures, respectivement du 13 décembre 2004 pour "divers travaux de peinture suite à un dégât d'eau", du 31 janvier 2005 pour "travaux de maçonnerie, dégât d'eau (...)", du 15 mars 2006 pour recherche de la provenance d'une fuite d'eau ainsi que du 8 septembre 2006 pour "travaux de carrelage". L'entrée en jouissance a eu lieu le 1er mars 2007. Par lettre recommandée du 12 mars 2007, l'acheteuse a signifié au vendeur l'existence d'une fuite d'eau au plafond et sur les murs de la buanderie-chaufferie; elle a invoqué la nullité de la clause d'exclusion de garantie en arguant que le phénomène dénoncé mettait en cause le réseau de distribution d'eau chaude réalisé en tuyaux plastiques et qu'il était connu du vendeur pour avoir nécessité quatre ou cinq interventions en 2005 et 2006, selon les indications données par l'installateur sanitaire. Des dégâts d'eau étaient effectivement déjà survenus dans l'immeuble. Le 22 février 2006, le vendeur avait annoncé le sinistre à son assurance en précisant que, comme pour les deux précédents d'octobre 2004 et de décembre 2005, il s'agissait d'une fuite à partir d'une conduite d'eau chaude fissurée et qu'il était ainsi amené à s'interroger sur la pertinence du choix des conduites installées en 1988. Le 5 avril 2007, l'acheteuse a requis et obtenu, par la voie d'une procédure de preuve à futur, la mise en oeuvre d'une expertise destinée à établir la nature et l'étendue des défauts affectant le réseau de distribution d'eau chaude de l'immeuble. L'expert judiciaire a constaté que ledit réseau présentait un défaut majeur de caractère répétitif nécessitant le remplacement des conduites d'eau chaude. Il a chiffré à 27'705 fr. le montant des travaux liés à l'élimination de ce défaut. B. Le 13 décembre 2007, l'acheteuse a intenté action en réduction du prix de vente devant la IIe Cour civile du Tribunal cantonal neuchâtelois et conclu au paiement de 35'410 fr. plus intérêts, correspondant à 27'705 fr. de moins-value, 4'250 fr. de frais d'avocat avant procès et 3'455 fr. de frais de justice et d'expertise judiciaire afférents à la procédure de preuve à futur. Le vendeur a conclu à libération. Par jugement du 17 décembre 2010, la cour cantonale a condamné le vendeur au paiement de 27'308 fr., intérêts en sus, rejeté l'action pour le surplus et mis les frais judiciaires à charge du vendeur, dont 3'455 fr. pour la procédure de preuve à futur. La cour a considéré qu'en s'abstenant d'attirer l'attention de l'acheteuse sur un problème dont le risque de répétition ne pouvait lui échapper, le vendeur avait frauduleusement dissimulé le défaut affectant le réseau de distribution d'eau chaude de la villa, de sorte que la clause d'exclusion de garantie était nulle; la moins-value s'élevait à 27'705 fr., dont à déduire la somme de 397 fr. correspondant à une dette que l'acheteuse avait déclaré vouloir compenser avec sa créance. C. Le vendeur (ci-après: le recourant) interjette un recours en matière civile auprès du Tribunal fédéral. Il conclut au rejet de l'action. L'acheteuse (ci-après: l'intimée) conclut au rejet du recours en tant qu'il est recevable. L'autorité précédente se réfère à son jugement. 