Eu concordo.  É completamente lógico que uma pessoa que gosta da companhia de homossexuais é um homossexual.  Um grupo de adeptos e amigos de homossexuais – que não são homossexuais – pode (deve) ser chamado de homossexual.  Mas um anglófilo é alguém que gosta da Inglaterra, mas não é inglês.  Um grupo constituído predominantemente por homossexuais não pode ser chamado de homofóbico, aplicando a mesma lógica.  Ele só pode ser chamado de homossexual.