Faits: A. P._ est de nationalité suisse. Il réside depuis le 15 février 2008 en Asie, où il vit avec son épouse, collaboratrice d'une organisation non gouvernementale étrangère. Le 19 février 2008, il a déposé une demande d'adhésion à l'assurance vieillesse, survivants et invalidité facultative auprès de la Caisse suisse de compensation. Par décision du 3 avril 2008, la Caisse suisse de compensation a rejeté la demande d'adhésion, au motif que l'intéressé ne pouvait se prévaloir de cinq années consécutives d'assurance immédiatement avant sa sortie de l'assurance obligatoire. Selon les recherches effectuées par la Caisse, il présentait une lacune d'assurance pour la période courant du 1er avril 2005 au 31 décembre 2006. P._ a fait opposition à cette décision et versé au dossier un extrait de son compte individuel délivré par la Caisse de compensation du canton de Lucerne, duquel il ressortait qu'il avait été assuré à l'assurance obligatoire de septembre 2005 à juin 2007 en tant que personne sans activité lucrative accompagnant à l'étranger son conjoint obligatoirement assuré. Par décision du 2 juin 2008, la Caisse suisse de compensation a rejeté l'opposition de P._ et confirmé la décision du 3 avril 2008. Elle a constaté que l'intéressé n'avait pas été assuré d'avril à août 2005 et que, partant, la condition de la durée ininterrompue de cinq ans n'était pas satisfaite. B. Par jugement du 20 avril 2009, le Tribunal administratif fédéral a rejeté le recours formé par l'intéressé contre la décision sur opposition du 2 juin 2008. C. P._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut à l'acceptation de sa demande d'adhésion à l'assurance-vieillesse, survivants et invalidité facultative. La Caisse suisse de compensation conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales (OFAS) a renoncé à se déterminer. 