Faits: A. Par jugement du 1er juin 2011, le Tribunal correctionnel de l'arrondissement de Lausanne a libéré X._ des accusations de contrainte sexuelle, abus de la détresse et contravention à la loi fédérale sur les professions médicales. Il a constaté qu'il s'était rendu coupable d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance et l'a condamné à 2 ans et 5 jours de privation de liberté, dont 9 mois à titre ferme, le solde avec sursis pendant 5 ans. La peine a été déclarée complémentaire à celles infligées respectivement les 27 février 2006 et 8 octobre 2009 par les juges d'instruction de Lausanne et de la Côte. Ce jugement dit, par ailleurs, que X._ est débiteur de 20'000 fr. de Y._ à titre d'indemnité pour tort moral, donnant pour le surplus acte de ses réserves civiles à cette dernière. Il interdit, enfin, à X._ de procéder à toute forme de traitement psychothérapeutique pour une durée de 5 ans. B. Statuant sur appel du condamné, le 23 septembre 2011, la Cour d'appel pénale du Tribunal cantonal vaudois a réformé ce jugement en qualifiant les infractions de contrainte sexuelle. En bref, le condamné, médecin généraliste, a été consulté par Y._ dès 1992 pour des problèmes de médecine générale. Il l'a suivie jusqu'à fin 2006. Ayant appris qu'elle avait été victime d'un viol à l'âge de 6 ans, il lui a proposé une liste de psychiatres qu'elle n'a pas consultés. Il lui a alors fait savoir qu'il avait suivi une formation de 2 ans en psychiatrie, qu'il était qualifié pour traiter les personnes abusées et prêt à la prendre en charge. Très rapidement, X._ a nourri des sentiments ambigus à l'égard de sa patiente, sachant qu'elle était extrêmement faible psychologiquement et qu'il avait créé un lien de dépendance de celle-ci envers lui-même. Dans ce contexte et dans le cadre d'un « contrat thérapeutique » signé le 25 octobre 1994, X._ a touché, à diverses reprises, entre juillet 1995 et fin 1999, les seins de sa patiente et posé ses mains sur le haut de ses cuisses, sans toutefois toucher le pubis. A une occasion (en 2002 ou 2003), il lui a caressé le dos, à même la peau, durant près de 5 minutes en lui déclarant que son geste devrait lui « faire chaud en bas ». Sous couvert d'actes symboliques dans le cadre d'une « sexothérapie », il lui a également administré des fessées à quatre reprises (décembre 1996, juillet 1998 et les 6 et 7 juin 2002) et fait subir deux touchers vaginaux (les 11 octobre 1996 et 11 décembre 1999). Au début de l'année 2004, il a mis ses mains sur la poitrine de sa patiente, par-dessus ses habits, pendant une minute nonobstant le refus d'un tel geste. Enfin, entre janvier et mars 2004, au prétexte d'un autre acte symbolique à des fins de « purification », il lui a massé les seins, à mains nues, à l'eau tiède durant deux à trois minutes. Y._ a déposé plainte le 24 mars 2009. X._ était, par ailleurs, le médecin de famille de Z._ depuis 1992. En 2001, cette dernière lui a dit avoir été victime de viols dans sa jeunesse. Profitant de la fragilité psychologique de sa patiente, X._ a entamé une « thérapie » à base de jeux de rôles, de debriefing et de sexothérapie selon un schéma identique à celui suivi avec Y._. Il a ainsi régulièrement demandé à cette patiente de se déshabiller et de l'enlacer et en a profité pour lui caresser le dos. Sous couvert d'une « opération symbolique », il lui a introduit un couteau suisse (lame fermée) dans le vagin. Les actes commis par X._ sur ces deux patientes n'ont aucune justification médicale ou thérapeutique reconnue par le corps médical. C. X._ recourt en matière pénale contre cet arrêt. Il conclut, avec suite de frais et dépens, principalement à sa réforme dans le sens de son acquittement, de sa libération de toute mesure et de toute condamnation au paiement de tort moral. A titre subsidiaire, il demande l'annulation de la décision querellée et le renvoi de la cause à l'autorité cantonale pour instruction et jugement au sens des considérants. Plus subsidiairement, il en requiert la réforme dans le sens de sa condamnation à une peine de 12 mois de privation de liberté avec sursis pendant 5 ans. Invités à déposer des observations sur le recours, la cour cantonale y a renoncé en se référant aux considérants de son arrêt, cependant que le Ministère public et Y._ ont conclu à son rejet, cette dernière requérant, par ailleurs, le bénéfice de l'assistance judiciaire. X._ s'est déterminé sur ces écritures par courrier du 11 juin 2012, lequel a été communiqué à titre de renseignement aux autres parties le 12 juin 2012. 