Faits: A. Dans le cadre d'une enquête conduite par le Juge d'instruction du canton de Vaud pour escroquerie, gestion déloyale, subsidiairement infraction à l'art. 92 let. b LAMal, X._ a été renvoyé, le 18 juin 2004, devant le Tribunal correctionnel de l'arrondissement de La Côte, qui l'a condamné, le 16 septembre 2005, pour escroquerie, escroquerie par métier et gestion déloyale, à la peine de dix-huit mois d'emprisonnement avec sursis pendant cinq ans. Ensuite des arrêts rendus respectivement les 20 février 2006 par la Cour de cassation pénale vaudoise et le 4 avril 2007 par le Tribunal fédéral, le Tribunal correctionnel de l'Est vaudois, auquel la cause avait été renvoyée par arrêt de la cour de cassation du 10 mars 2008, a libéré X._ des fins de la poursuite pénale, par jugement du 7 octobre 2009. La Cour de cassation pénale cantonale a rejeté le recours de l'intéressé contre la décision mettant une partie des frais pénaux à sa charge (arrêt du 12 avril 2010). Le recours en matière pénale interjeté contre cette dernière décision a été rejeté par le Tribunal fédéral le 17 février 2011 (arrêt 6B_656/2010). Dans l'intervalle, X._ a formé, le 27 octobre 2009, une demande d'indemnité auprès du Tribunal d'accusation vaudois. Par arrêt du 6 mai 2011, cette autorité l'a rejetée, frais à charge du recourant. En bref, elle a jugé, en se référant aux considérants de l'arrêt fédéral du 17 février 2011, qu'en contrevenant à l'art. 56 al. 1 LAMal, le requérant avait eu un comportement contraire au droit qui était à l'origine des poursuites engagées contre lui. Cela excluait qu'une indemnité lui soit accordée. B. X._ forme un recours contre cette décision. Il conclut avec suite de frais et dépens, principalement à sa réforme en ce sens que sa demande d'une indemnité équitable soit admise dans son principe et sa quotité, une somme de 418'973 fr. 60 lui étant versée par l'Etat de Vaud pour le préjudice résultant de l'instruction, pour les frais de défense et pour le tort moral. Subsidiairement, il conclut à l'admission de sa demande d'indemnité dans son principe et au renvoi de la cause à l'autorité cantonale afin qu'elle complète l'instruction et en fixe le montant. Plus subsidiairement, le recourant demande l'annulation de la décision entreprise et le renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants. Il n'a pas été ordonné d'échange d'écritures. 