Faits: A. Par ordonnance pénale du 31 janvier 2011, le Ministère public du canton de Fribourg a condamné A._ à 60 jours-amende avec sursis pendant deux ans, pour calomnie. Sur opposition, le Juge de police de l'arrondissement de la Sarine l'a condamné, le 27 août 2011, à 120 heures de travail d'intérêt général avec sursis pendant deux ans. A._ a appelé de ce jugement le 28 octobre 2011. Le 28 décembre 2011, il a demandé la récusation du Procureur B._, auteur de l'ordonnance pénale. Il lui reprochait d'être impliqué dans plusieurs affaires depuis 2008, notamment deux procédures pénales qualifiées d'abusives, dans lesquelles il aurait violé la loi et démontré de la partialité à son encontre. B. Par arrêt du 10 février 2012, la Chambre pénale du Tribunal cantonal fribourgeois a rejeté la demande de récusation. Le fait d'avoir précédemment rendu une ordonnance pénale ne constituait pas un motif de récusation car le magistrat, chargé de la poursuite, n'agissait pas à un autre titre au sens de l'art. 56 let. b CPP. La procédure de 2008 était distincte et les sentiments d'inimitié du requérant ne suffisaient pas à justifier une récusation. C. Par acte du 10 mars 2012, A._ forme un recours contre cet arrêt. La Chambre pénale a renoncé à formuler des observations. Le Procureur B._, ainsi que le Ministère public fribourgeois, concluent au rejet du recours. Le recourant a par la suite déposé des observations complémentaires, et a requis une réduction du montant de l'avance de frais. 