Faits: A. A._, ressortissant angolais né en 1966, a été arrêté le 23 février 2006. Après une altercation, relative à un différend financier, avec B._ dans un bar de Renens, ils avaient quitté l'établissement et une bagarre avait éclaté entre eux, lors de laquelle A._ avait asséné deux coups de couteau, l'un au cou et l'autre dans le dos, à B._, en lui disant qu'il allait le tuer. Une instruction a été ouverte contre lui, pour crime manqué de meurtre, subsidiairement mise en danger de la vie d'autrui, lésions corporelles simples qualifiées et menaces, par le Juge d'instruction de l'arrondissement de Lausanne. Dans le cadre de celle-ci, il a été soumis à une expertise psychiatrique. B. Le 2 mai 2006, A._ a sollicité sa mise en liberté provisoire. Par ordonnance du 4 mai 2006, le Juge d'instruction a écarté la requête, à raison d'un risque de récidive et d'un risque de fuite. Saisi d'un recours de A._, le Tribunal d'accusation du Tribunal cantonal vaudois, par arrêt du 8 juin 2006, l'a rejeté, confirmant la décision qui lui était déférée, et a fixé à 240 fr., plus 18 fr. de TVA, soit 258 fr. au total, l'indemnité due au défenseur d'office du recourant. C. A._ forme un recours de droit public au Tribunal fédéral. Invoquant les art. 9 et 31 Cst., l'art. 5 CEDH et une application arbitraire de l'art. 59 du code de procédure pénale vaudois (CPP/VD), il conclut à l'annulation de l'arrêt attaqué et à sa mise en liberté provisoire immédiate, en sollicitant l'assistance judiciaire. Son mandataire se plaint par ailleurs de l'indemnité à lui allouée comme défenseur d'office en instance cantonale, en demandant le renvoi du dossier à l'autorité cantonale pour nouvelle décision sur ce point. Le Ministère public conclut au rejet du recours. L'autorité cantonale formule une observation quant à l'indemnisation du défenseur d'office et, pour le surplus, se réfère à son arrêt. Le recourant a répliqué. 