Faits: A. Par jugement du 14 novembre 2008, le Tribunal correctionnel de l'arrondissement de Lausanne a constaté que X._, qui comparaissait aux côtés de deux coaccusés, Y._ et Z._, s'était rendu coupable d'escroquerie. Une peine privative de liberté de huit mois, complémentaire à une précédente condamnation du 5 février 2008, a été prononcée avec sursis pendant trois ans. Il a, par ailleurs, été donné acte à A._ de ses réserves civiles et une fraction des frais, par 11'461 fr., a été mise à la charge de X._. Il ressort de ce jugement les faits pertinents suivants pour l'examen de la cause. A.a X._, né en 1945, a été directeur commercial de diverses entreprises. Dès 1986, il a travaillé comme consultant indépendant. Y._ était propriétaire et administrateur de la Fiduciaire B._ SA. Z._ était vice-directrice, puis actionnaire unique de la société C._ SA, devenue ensuite D._ SA. Cette dernière société n'a pas eu d'activité. Z._ en est restée administratrice. A.b La Fiduciaire B._ et Y._ comptaient comme client de longue date l'architecte A._. A Lausanne, le 25 novembre 1998, et à une date indéterminée, peu après le 26 janvier 1999, ce dernier a remis à Y._, en faveur de la Fiduciaire B._ des sommes de 100'000 fr. et de 50'000 fr., au titre de deux documents, établis sur papier à en-tête de cette société, rédigés par Y._ et intitulés « contrat de prêt ». Selon A._, ces deux prêts étaient en rapport avec un projet d'acquisition d'un terrain constructible sur la commune de P._ en collaboration avec Y._. A.c Z._, jusqu'alors seule et unique propriétaire du capital social de D._ SA, a, par convention du 26 septembre 2000, cédé la totalité de celui-ci à la Fiduciaire B._, qui reprenait également la totalité du compte-courant actionnaires de D._ SA. Cette société devait investir 150'000 fr. pour l'acquisition du terrain précité. Z._ en demeurait administratrice et lui a versé les 150'000 fr. promis, considérant ce versement comme un prêt destiné à l'opération immobilière. A.d Les deux sommes précitées de 100'000 fr. et 50'000 fr. n'ayant pas été remboursées par la Fiduciaire B._ à A._, celui-ci a engagé des poursuites contre celle-là et a déposé plainte pénale à l'encontre de Y._. Le juge de la faillite a convoqué une audience à la date du 15 février 2001. Afin d'éviter la faillite de la société, X._ et Y._ ont convaincu A._ de passer une convention. Cet accord, daté du 14 février 2001, a été conclu par A._ (sous la signature de l'agent d'affaires breveté E._), la Fiduciaire B._ (sous la signature de Y._), D._ SA (sous la signature de Z._) et Z._ personnellement. D._ SA y déclarait reprendre sans réserve ni condition et à l'entière libération de la Fiduciaire B._ la dette de cette dernière envers A._, par 150'000 fr. en capital, plus intérêts et accessoires. Le créancier acceptait la reprise de dette sur la base d'un bilan de D._ SA arrêté au 31 décembre 1999 et d'une déclaration de Z._ selon laquelle le bilan au 31 décembre 2000 (non encore établi à cette époque) n'avait pas évolué de manière significative, d'une part, et que la société n'avait aucun créancier, sous réserve de dettes courantes, d'autre part. En garantie de l'engagement souscrit par D._ SA, Z._ a remis en nantissement à A._ le capital-actions de la société, qui s'élevait à 50'000 fr. en valeur nominale et dont elle était l'unique propriétaire. Il était encore précisé que Z._ n'était que constituante du gage et en aucun cas débitrice solidaire de D._ SA. Cette dernière s'engageait à payer à A._ la dette reprise au plus tard le 31 août 2001. Le lendemain, soit le 15 février 2001, Y._ et Z._ se sont rencontrés et ont amendé de manière manuscrite la convention du 26 septembre 2000. Modifiant l'article qui prévoyait initialement que Z._ était libre détentrice des actions franches de gage et de réserve de propriété ou d'autres restrictions au droit d'aliéner, l'ajout manuscrit précisait tout d'abord que l'intéressée avait déposé en gage les actions de D._ SA jusqu'au 31 août 2001 auprès du notaire F._. Il mentionnait ensuite que l'exécution de l'acte de vente du 26 septembre 2000 (soit la cession du capital-actions) était reportée au 1er septembre 2001 au plus tard ou au moment de la levée de la consignation chez le notaire F._. La troisième modification énonçait que la poursuite provisoire du mandat d'administrateur de Z._ ne prendrait plus fin lorsque D._ SA aurait acquis le terrain à P._, mais au plus tard le 31 août 2001 ou à la date de levée de l'acte de consignation des actions. Enfin, la dernière modification supprimait purement et simplement la clause selon laquelle D._ SA s'engageait à investir 150'000 fr. pour l'achat du terrain en question. Le même jour, Z._ a prélevé 150'000 fr. sur le compte courant de D._ SA auprès de l'UBS. Ce compte présentait alors un solde créancier de 169'756 fr. 04, pour des liquidités disponibles de 172'898 fr. 63 au total. Elle a prétendu s'être remboursée du prêt qu'elle avait consenti à la société à fin septembre 2000. Les comptes présentés en vue de la signature de la convention de reprise de dette le 14 février 2001 n'ont jamais fait apparaître un prêt de Z._ à D._ SA. Il en ressortait bien plutôt que l'intéressée, en sa prétendue qualité d'actionnaire unique, était débitrice de la société de 363'417 fr. 75 au 31 décembre 1999, respectivement 294'751 fr. 40 au 31 décembre 2000. A.e A._ n'ayant pas été remboursé comme prévu dans la convention, il a engagé une poursuite en réalisation de gage contre D._ SA. Il a acquis le capital-actions de la société pour 1000 fr. Un certificat d'insuffisance de gage lui a été délivré par l'Office des poursuites de Lausanne-Est le 2 septembre 2002. A._ a déposé plainte le 15 mai 2003. A.f A côté d'un abus de confiance imputé au coaccusé de X._, le Tribunal correctionnel de Lausanne a retenu que les trois intéressés s'étaient rendus coupables d'une escroquerie. Ils avaient astucieusement fait croire à A._ que son argent lui serait remboursé par D._ SA, alors même qu'ils savaient tous trois que tel ne serait pas le cas. Leurs affirmations fallacieuses avaient amené la victime à retirer sa requête de faillite et sa plainte pénale. En ce qui concerne l'atteinte au patrimoine de la victime, le tribunal correctionnel a expliqué qu'il n'était pas du tout exclu que le créancier aurait, s'il n'avait pas consenti à la reprise de dette, pu percevoir davantage dans la faillite de la Fiduciaire B._, qui incorporait les actifs de D._ SA, que ce qu'il avait obtenu dans la procédure de réalisation de gage ultérieurement menée. B. Saisie de recours des trois accusés et de la partie civile, la cour de cassation pénale du Tribunal cantonal les a tous rejetés, par arrêt du 25 février 2009. C. X._ forme un recours en matière pénale contre cet arrêt. Il conclut principalement à la réforme de la décision entreprise en ce sens qu'il soit acquitté de l'accusation d'escroquerie. A titre subsidiaire, il demande que sa peine soit réduite drastiquement et plus subsidiairement que l'arrêt querellé soit annulé et la cause renvoyée à l'autorité cantonale afin qu'elle complète l'instruction et qu'elle se prononce à nouveau au sens des considérants. Il requiert, en outre, le bénéfice de l'assistance judiciaire. Invités à déposer des observations sur la question de l'existence d'un dommage patrimonial, le Ministère public du canton de Vaud y a renoncé, cependant que la cour cantonale s'est référée aux considérants de son arrêt. Elle souligne qu'au moment de signer la convention du 14 février 2001, A._ pouvait compter sur l'existence de liquidités en mains de la société qui reprenait la dette et que le recourant était au courant de toute l'opération. 