Faits: Faits: A. A.a A compter du 1er octobre 1983, S._ a bénéficié d'une rente entière de l'assurance-invalidité. Dès le 18 septembre 1992, il a été incarcéré à la suite d'une procédure pénale ouverte à son encontre. Au terme d'une procédure de révision d'office, la Commission de l'assurance-invalidité du canton de Neuchâtel (ci-après : la commission), lui a supprimé le droit à la rente avec effet rétroactif au 1er janvier 1988 par décision du 4 février 1993. Celle-ci lui a été notifiée à son domicile privé. A.b A la demande de l'assuré, l'office de l'assurance-invalidité du canton de Neuchâtel (ci-après : l'office AI) lui a remis une copie de la décision précitée par correspondance du 28 janvier 2004. Par lettre du 20 avril suivant, l'intéressé a demandé à l'office AI de revenir sur sa décision en alléguant notamment n'en avoir eu connaissance qu'à réception d'un courrier de la Caisse de compensation du canton de Neuchâtel du 13 janvier 2004. Sa requête a été rejetée par décision du 13 septembre 2004, confirmée sur opposition le 1er décembre 2005. A.b A la demande de l'assuré, l'office de l'assurance-invalidité du canton de Neuchâtel (ci-après : l'office AI) lui a remis une copie de la décision précitée par correspondance du 28 janvier 2004. Par lettre du 20 avril suivant, l'intéressé a demandé à l'office AI de revenir sur sa décision en alléguant notamment n'en avoir eu connaissance qu'à réception d'un courrier de la Caisse de compensation du canton de Neuchâtel du 13 janvier 2004. Sa requête a été rejetée par décision du 13 septembre 2004, confirmée sur opposition le 1er décembre 2005. B. Saisi d'un recours contre cette décision sur opposition, le Tribunal administratif du canton de Neuchâtel l'a rejeté par jugement du 31 mai 2006. B. Saisi d'un recours contre cette décision sur opposition, le Tribunal administratif du canton de Neuchâtel l'a rejeté par jugement du 31 mai 2006. C. S._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation en concluant pour l'essentiel au rétablissement de son droit à la rente entière d'invalidité. Il requiert en outre le bénéfice de l'assistance judiciaire. L'office AI conclut au rejet du recours tandis que l'Office fédéral des assurances sociales n'a pas présenté de déterminations. 