Faits: A. A._ fait l'objet d'une plainte déposée le 19 novembre 2008 par l'Etat de Vaud pour calomnie, subsidiairement diffamation et injure, et instruite par le Juge d'instruction de l'arrondissement de Lausanne. Il a été représenté en premier lieu par un avocat genevois. Dès le 5 mars 2010, Me C._, lui a été désigné comme avocat d'office. Le 7 mai 2010, A._ demanda le dessaisissement de Me C._ en raison d'un conflit d'intérêts, demande qui fut acceptée le 19 mai 2010. Me D._, nommé en remplacement, a refusé le mandat. Le 31 mai 2010, Me B._ a été désigné comme nouveau défenseur d'office. Le 6 juin 2010, A._ demanda la nomination de Me E._. Par prononcé du 22 juin 2010, le Juge d'instruction a rejeté la demande, relevant que rien ne permettait de mettre en doute les qualités professionnelles de Me B._, et que Me E._ avait indiqué qu'il n'entendait pas assumer ce mandat. A._ a recouru contre ce prononcé. Le 24 juin 2010, Me B._ demanda à son tour au Président du Tribunal d'arrondissement à être relevé de ce mandat, expliquant que toute communication avec son client était impossible, ce qui empêchait une relation de confiance. Cette demande fut rejetée le 25 juin 2010. Le 27 juin 2010, A._ demanda à nouveau le dessaisissement de Me B._, élevant une série de reproches à l'égard de l'avocat et de sa collaboratrice. B. Par arrêt du 5 juillet 2010, le Tribunal d'accusation du Tribunal cantonal vaudois a rejeté le recours formé par A._. Un changement d'avocat d'office n'était possible que pour des raisons objectives. En présence d'un cas de défense obligatoire, les motifs subjectifs allégués ne justifiaient pas un tel changement, rien ne permettant d'affirmer que la défense assurée par Me B._ soit insuffisante. Le problème provenait du refus systématique de l'inculpé de collaborer avec son défenseur d'office. Me B._ était toutefois invité à s'occuper personnellement du mandat, et à ne pas déléguer entièrement le dossier à sa collaboratrice. C. Par acte du 10 août 2010, A._ a adressé un recours au Tribunal cantonal, destiné au Tribunal pénal fédéral, contre l'arrêt cantonal. Il demande la révocation de Me B._ et la désignation d'un autre avocat d'office suffisamment expérimenté. Il demande par ailleurs diverses constatations au sujet des faits établis en instance cantonale, notamment des causes des désistements successifs de ses avocats. Le recourant a par la suite demandé l'assistance judiciaire. Le Tribunal d'accusation a transmis ce recours au Tribunal fédéral. Le Tribunal d'accusation se réfère aux considérants de son arrêt. Le Ministère public conclut au rejet du recours. Dans ses déterminations, Me B._ conclut à l'irrecevabilité, subsidiairement au rejet du recours, tout en relevant que le 16 août 2010, il a une nouvelle fois demandé d'être relevé de sa mission. Le recourant a répliqué, reprenant ses griefs à l'encontre de l'avocat et de sa collaboratrice. 