Faits: A. Le 21 décembre 2010, X._ a déposé une plainte pénale pour calomnie, diffamation et faux dans les titres contre Y._ et la Gérance Immobilière Municipale de la ville de Genève (GIM). Il reprochait au premier d'avoir déclaré, dans une lettre du 1er septembre 2010, que X._, ses grands enfants et les copains de ces derniers auraient commis des déprédations dans l'immeuble qu'ils avaient habité de janvier 2002 à juillet 2010. La GIM aurait repris ces accusations dans une lettre du 14 septembre 2010, confirmant une décision de ne pas les reloger dans l'immeuble après rénovation de celui-ci. Par ordonnance du 20 mai 2011, le Ministère public genevois a refusé d'entrer en matière sur la plainte. Ni les propos tenus par Y._, ni le refus d'attribuer l'appartement ne constituaient des atteintes à l'honneur punissables. Par arrêt du 1er juillet 2011, la Chambre pénale de recours de la Cour de justice genevoise a rejeté le recours formé par X._. Les termes utilisés par Y._ et repris par la GIM étaient conformes à la réalité, et ne concernaient pas directement le recourant. L'usage par la GIM d'une citation partielle ou imprécise ne constituait pas un faux dans les titres. B. Par acte du 1er septembre 2011, X._ forme un recours en matière pénale par lequel il demande au Tribunal fédéral d'annuler l'arrêt cantonal et d'inviter le Ministère public à donner suite à la plainte, subsidiairement de renvoyer la cause à la Cour de justice pour nouvelle décision dans le sens des considérants. La cour cantonale se réfère à son arrêt, sans observations. Y._ s'est déterminé dans le sens du rejet du recours. La GIM conclut à l'irrecevabilité du recours en tant qu'il est dirigé contre la ville de Genève, et à son rejet sur le fond. Le recourant a déposé des observations complémentaires le 25 octobre 2011. 