Faits: A. Par jugement du 11 décembre 2009, le Tribunal correctionnel de l'arrondissement de Lausanne a libéré X._ des infractions d'abus de confiance, escroquerie, calomnie, injure, séquestration, enlèvement et encouragement à la prostitution et l'a condamné, pour usure, tentative d'usure, menaces, contrainte, tentative de contrainte, faux dans les titres, instigation à entrave à l'action pénale et infraction à la loi fédérale sur le séjour et l'établissement des étrangers, à 2 ans de privation de liberté, sous déduction de la détention préventive, avec sursis partiel pendant 4 ans à concurrence de 18 mois. Saisie d'un recours du condamné, la Cour de cassation pénale vaudoise a, par arrêt du 12 avril 2010, annulé d'office ce jugement et renvoyé la cause au Tribunal correctionnel de l'arrondissement de Lausanne pour nouvelle instruction et nouveau jugement au sens des considérants. Confirmant notamment que l'infraction de contrainte ou de tentative de contrainte ainsi que celle à l'art. 23 LSEE étaient réalisées, la cour a, en revanche, libéré le recourant des chefs d'accusation de faux dans les titres et d'instigation à entrave à l'action pénale. Elle a, enfin, confirmé que l'infraction d'usure semblait réalisée dans un certain nombre de cas mais a renvoyé la cause à l'autorité de première instance afin qu'elle établisse les faits déterminants dans chaque cas retenu, après assignation de certains témoins. Lors de la seconde audience de première instance, X._ a, d'entrée de cause, requis du tribunal correctionnel par voie incidente, que l'instruction soit limitée à l'accusation d'usure ainsi qu'aux questions de la peine et du sursis, sans remettre en question les faits pour lesquels il avait été libéré le 11 décembre 2009. Ces conclusions ont été admises, sous réserve de l'examen d'une éventuelle créance compensatrice. Par jugement du 4 avril 2011, le Tribunal correctionnel a notamment libéré X._ des chefs d'accusation d'abus de confiance, escroquerie, calomnie, injure, séquestration et enlèvement, encouragement à la prostitution, faux dans les titres et instigation à entrave à l'action pénale, constaté qu'il s'était rendu coupable d'usure, menaces, contrainte, tentative de contrainte et infraction à la loi fédérale sur le séjour et l'établissement des étrangers et l'a condamné à 18 mois de privation de liberté sous déduction de 31 jours de détention avant jugement, peine partiellement complémentaire à celle prononcée par le Tribunal d'arrondissement de Lausanne le 3 décembre 2003. L'exécution de 12 mois de cette sanction a été suspendue avec un délai d'épreuve de 4 ans. Ce jugement statue en outre sur les prétentions civiles et ordonne une créance compensatrice de 8000 fr. B. Statuant sur l'appel du condamné par arrêt du 24 novembre 2011, la cour d'appel pénale du Tribunal cantonal vaudois l'a rejeté et a confirmé le jugement de première instance. En résumé, cet arrêt, auquel on renvoie pour le surplus, repose sur l'état de fait suivant. X._, né Y._ le 3 décembre 1961 à Santiago du Chili, serait arrivé en Suisse vers l'âge de 19 ans. Il n'a effectué aucune formation professionnelle. Après diverses activités, il a exploité, entre 2001 et 2006, un bureau de conseil aux étrangers, de traduction et de rédaction de documents administratifs notamment. Se faisant passer pour un avocat ou un juriste en utilisant une carte de visite sur laquelle était mentionnée une prétendue qualité de « conseiller juridique », il faisait miroiter à ses clients, le plus souvent en situation illégale, la perspective d'un titre de séjour en demandant systématiquement un permis humanitaire même lorsque les conditions objectives n'en étaient pas remplies. Il proposait à ses clients de s'occuper de toutes les démarches pour un montant forfaitaire de 2000 fr. par personne adulte (y compris dans les cas où une seule demande était établie pour une famille en comptant plusieurs), dont 500 à 1000 fr. sous forme d'avance en liquide. Son activité consistait à accompagner ses clients à la commune pour les inscrire et leur faire signer une demande de permis humanitaire, les poussant, au besoin, à exagérer le récit de leurs souffrances pour rendre la démarche plus crédible. Pour le surplus, il faisait de nombreuses photocopies, souvent à double ou à triple, utilisait des arguments dilatoires pour répondre aux demandes de ses clients quant à l'avancement de la procédure et menaçait, s'ils insistaient, de les dénoncer à la police ou de s'en prendre à eux physiquement. Au moment des faits, toutes activités confondues, son chiffre d'affaires estimé oscillait entre 10'000 et 30'000 fr. par mois. C. X._ recourt en matière pénale contre cet arrêt. Il conclut à sa réforme en ce sens qu'il soit libéré des accusations de menaces et de contrainte à l'encontre de A_ et de B._ ainsi que de l'accusation de tentative de contrainte à l'encontre de C._ et que sa peine soit réduite à 12 mois de privation de liberté avec sursis pendant deux ans. A titre subsidiaire, il demande l'annulation de l'arrêt entrepris et le renvoi de la cause à l'autorité cantonale pour nouvelle instruction et nouveau jugement au sens des motifs. Il requiert, par ailleurs, le bénéfice de l'assistance judiciaire et la restitution de l'effet suspensif. Invités à déposer des observations, la cour cantonale s'est référée aux considérants de son arrêt, cependant que le Ministère public a conclu au rejet du recours. Le recourant a renoncé à déposer des observations complémentaires sur ces écritures. 