Faits: A. Le Juge d'instruction du canton de Fribourg B._ instruit une procédure pénale pour calomnie, subsidiairement diffamation, à l'encontre de C._ et de D._, sur plaintes de A._. Par lettre du 21 juillet 2008, A._ a déposé une première demande de récusation notamment du Juge B._, laquelle a été rejetée le 25 août 2008 par le Vice-président de l'Office des juges d'instruction du canton de Fribourg (ci-après: le Vice-président). Le Tribunal fédéral a confirmé cette décision, par arrêt du 13 novembre 2008 (1B_246/2008). Par courrier du 18 mars 2010 adressé au Tribunal cantonal du canton de Fribourg, A._ a derechef requis la récusation du Juge d'instruction B._, au motif que celui-ci est affilié au même parti politique que D._. Cette requête a été transmise au Juge d'instruction B._, qui l'a remise au Vice-président de l'Office des juges d'instruction fribourgeois. Par lettre du 1er avril 2010, le Juge d'instruction B._ s'est opposé à la récusation. B. Par décision du 23 avril 2010, le Vice-Président a rejeté la demande de récusation, dans la mesure de sa recevabilité. Il a considéré en substance qu'aucun élément ne permettait de retenir que le magistrat visé puisse être tenté de favoriser D._ du seul fait qu'il soit membre du même parti politique; de plus, le Juge B._ ne se trouvait pas dans un rapport d'amitié étroite ou d'inimitié personnelle avec une des parties. Quant à C._, il n'était pas affilié au même parti politique. C. Par acte du 5 mai 2010, A._ forme un recours contre la décision du 23 avril 2010. II en demande l'annulation, ainsi que la récusation du Juge d'instruction B._, dans le cadre de ses plaintes contre C._ et D._. Le Vice-Président conclut au rejet du recours. Le Juge B._ se réfère aux observations déposées devant l'instance précédente. Le recourant a répliqué, sans y avoir été invité. 