Faits: A. Le 3 mai 2000, Y._ a été désigné administrateur officiel de la succession de feu A._. Suite à une procédure engagée par l'administrateur officiel, la Juge de paix du district de La Broye-Vully, Z._, a ordonné l'expulsion de X._ qui logeait dans la maison "E._" propriété de l'hoirie. L'exécution forcée s'est déroulée le 6 mars 2007. X._, bien que régulièrement convoqué, était absent. Un bref inventaire a été remis au déménageur et le déménagement proprement dit fut fixé au 12 mars 2007. Le 10 juillet 2008, Me B._ a été nommée administrateur officiel de la succession en remplacement de Y._. Les hoirs ont alors convenu que X._ pourrait avoir accès à la maison jusqu'au 20 mai 2009 et qu'elle serait ensuite confiée à un courtier en vue de la vente. Le 29 mai 2009, X._, C._ et D._ ont déposé plainte pénale contre Z._ en lui reprochant des manquements relatifs à l'expulsion, à l'évacuation des biens de l'expulsé et à l'état d'abandon de la maison. X._ a précisé qu'il manquait du mobilier autant dans la maison que dans le local de la commune d'Oleyres, où les meubles avaient été entreposés. La plainte a ensuite été étendue à Y._, qui se voyait reprocher en particulier des opérations comptables incompréhensibles. B. Par ordonnance du 3 février 2012, le Ministère public central du canton de Vaud a ordonné le classement de la procédure. Il a en substance retenu que rien ne permettait d'établir la culpabilité de Z._ en matière de vol, que l'infraction d'escroquerie ne pouvait être réalisée faute d'enrichissement illégitime et que l'instruction n'avait permis d'établir ni en quoi son comportement aurait été abusif ni une quelconque intention délictueuse de sa part. Il a également considéré qu'aucun reproche ne pouvait être fait à Y._ dans le traitement du dossier et que l'infraction de gestion déloyale n'était pas réalisée faute d'enrichissement. C. Par arrêt du 2 mars 2012, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a confirmé cette décision, sur recours de X._. Elle a considéré que la Juge de paix mise en cause n'avait pas failli à son devoir, malgré les difficultés rencontrées. Elle avait prononcé et fait exécuter l'expulsion de façon conforme au droit. Quant au traitement et au suivi du dossier par Y._, il ne laissait apparaître aucun manquement pénalement répréhensible de sorte qu'aucune intention délictueuse ne saurait lui être imputée. Par ailleurs, l'autorité cantonale a souligné que les reproches relatifs à l'absence d'inventaire officiel des biens mobiliers de l'hoirie et au manque de transparence des comptes n'étaient pas constitutifs de l'infraction de gestion déloyale. D. Par acte du 20 juin 2012, X._ forme un recours en matière pénale par lequel il demande au Tribunal fédéral d'annuler l'arrêt du 21 mai 2012 et de renvoyer l'affaire à l'autorité précédente pour un complément d'instruction après avoir examiné le droit du recourant à bénéficier de l'assistance judiciaire; il requiert également l'assistance judiciaire pour la procédure devant le Tribunal fédéral. La Chambre des recours pénale a renoncé à se déterminer et se réfère aux considérants de son arrêt ; le Ministère public central se réfère également à son ordonnance de classement. Y._ s'est expliqué sur la consolidation d'un compte courant en prêt hypothécaire et a déposé des pièces à cet effet. Z._ ne s'est pas déterminée. Le recourant a déposé de nouvelles observations le 14 septembre 2012. Il s'est déclaré absent de Suisse le 1er décembre 2012, et de retour le 5 mars 2013. 