Faits: A. A.a S._ percevait une demi-rente d'invalidité, assortie des prestations complémentaires ou ordinaires pour les membres de sa famille, allouées depuis le 1er décembre 1992 par l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI). Il bénéficiait aussi de prestations complémentaires servies par la Caisse cantonale vaudoise de compensation AVS (ci-après: la caisse). Toutes ces prestations ont été supprimées dès le 1er mai 2001 (décisions de l'office AI du 19 mars 2001 et de la caisse du 5 avril suivant). L'assuré a déféré ces décisions au Tribunal des assurances du canton de Vaud (désormais, Cour des assurances sociales du Tribunal cantonal du canton de Vaud), qui a suspendu la cause relative aux prestations complémentaires jusqu'à droit connu sur celle relative aux prestations de l'assurance-invalidité (décision du 22 juin 2001) et rejeté le recours formé contre la décision de suppression des rentes d'invalidité (jugement du 29 avril 2004). Saisi d'un recours contre ce jugement, le Tribunal fédéral des assurances l'a annulé et a retourné le dossier aux premiers juges afin qu'ils complètent l'instruction et rendent un nouveau jugement (arrêt I 574/04 du 6 avril 2006). Sur la base d'un rapport d'expertise judiciaire, la juridiction cantonale a alors reconnu le droit de l'intéressé à une rente entière d'invalidité depuis le 1er avril 2000 (jugement du 6 février 2007). Elle a encore admis le recours formé contre la décision supprimant les prestations complémentaires et retourné la cause à l'administration pour instruction complémentaire et nouvelle décision (jugement du 6 février 2007). A.b La caisse a sollicité plusieurs fois S._, a procédé à des enquêtes, a requis des renseignements auprès de différentes institutions (Registre du commerce, Office des faillites et poursuites, Direction générale de l'enseignement obligatoire, aide sociale, assureurs, régie immobilière, etc.) et s'est procuré le jugement rendu le 28 mars 2008 par la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud rejetant le recours dirigé contre une décision du Service vaudois de prévoyance et d'aide sociale qui subordonnait l'octroi des prestations à la présence de tous les bénéficiaires à deux entretiens mensuels. En raison de l'impossibilité, imputée au défaut de collaboration de l'assuré, de réunir les informations nécessaires pour apprécier la situation financière et familiale de l'intéressé ainsi que pour contrôler l'existence d'un domicile effectif en Suisse, la caisse a refusé d'octroyer les prestations complémentaires requises (décision du 8 juillet 2008 confirmée sur opposition le 15 septembre suivant). B. S._ a saisi la Cour des assurances sociales du Tribunal cantonal du canton de Vaud, sollicitant la réforme de la décision sur opposition en ce sens qu'un droit aux prestations complémentaires lui soit reconnu depuis le 1er avril 2000, sous déduction des prestations déjà versées entre 2000 et 2003. Il contestait le défaut de collaboration ainsi que le transfert de son domicile à l'étranger et soutenait avoir automatiquement droit aux prestations complémentaires dès lors qu'il avait bénéficié de l'aide sociale, dont les conditions d'octroi étaient identiques, et que son droit à une rente d'invalidité était établi. Les premiers juges ont confirmé la décision litigieuse (jugement du 11 mai 2010). Ils ont relevé que l'assuré avait inexcusablement failli à son devoir de collaborer malgré de multiples demandes et avertissements. C. L'intéressé interjette un recours en matière de droit public contre ce jugement. Sous suite de frais et dépens, il en requiert la réforme ou l'annulation et conclut à l'admission d'un droit aux prestations complémentaires pour lui, son épouse et ses enfants depuis le 1er mai 2001 ou au renvoi du dossier à l'administration pour qu'elle rende une nouvelle décision au sens des considérants. La caisse conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer. 