Faits: A. D._ travaillait comme monteur en façades. Invoquant les séquelles d'une hernie discale, il s'est annoncé le 9 février 2006 à l'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'office AI). Sa demande de prestations a été rejetée (décision du 19 mai 2008). B. L'assuré a déféré cette décision au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, requérant simultanément l'octroi de l'assistance judiciaire et la tenue de débats. Les premiers juges ont admis la demande d'assistance judiciaire, dans la mesure notamment où le recours ne paraissait pas d'emblée voué à l'échec (décision du 26 septembre 2008), puis ont rejeté le recours (jugement du 1er avril 2011) refusant en particulier d'ordonner des débats au motif que le recours était clairement infondé. C. L'intéressé interjette un recours en matière de droit public contre ce jugement. Il en requiert l'annulation et conclut, notamment, au renvoi de la cause au tribunal cantonal pour qu'il organise des débats. Il sollicite en outre l'octroi de l'assistance judiciaire pour la procédure fédérale. Le tribunal cantonal, l'office AI et l'Office fédéral des assurances sociales ont renoncé à se déterminer. 