Faits: A. Le Ministère public du canton de Genève mène une enquête pénale contre A._, B._, C._, D._ et J._, pour gestion déloyale. Associés de X._, les prévenus font l'objet de 74 plaintes de la part d'investisseurs qui leur reprochent des placements dans des "fonds Madoff". Par décision du 24 mars 2011, le Ministère public a écarté de la procédure les plaignants E._, F._, K._, H._ et I._, considérant que ces derniers avaient confié leurs avoirs non pas à X._, mais à des intermédiaires. B. Par arrêt du 7 juillet 2011, la Chambre pénale de recours de la Cour de justice du canton de Genève a confirmé cette décision, retenant que les plaignants n'avaient pas conclu de mandat de gestion directement avec X._. Dans cette décision, la Chambre pénale a refusé d'accorder des dépens aux prévenus intimés, considérant que ceux-ci n'avaient pas chiffré et justifié leurs prétentions sur ce point comme l'exige l'art. 433 al. 2 CPP. C. Par acte du 12 septembre 2011, A._, B._, C._ et D._ forment un recours en matière pénale. Ils demandent préalablement l'annulation de l'arrêt cantonal en tant qu'il refuse l'allocation de dépens, et principalement l'allocation de diverses indemnités de dépens, d'un montant total de quelque 19'000 fr., à la charge des intimés, subsidiairement de l'Etat de Genève. La Chambre pénale de recours se réfère à son arrêt, sans observations. Le Ministère public conclut au rejet du recours. Les intimés E._, F._, K._, H._ et I._ concluent au rejet du recours dans la mesure où il est recevable. Les recourants ont déposé de nouvelles déterminations le 2 décembre 2011. 