Faits: A. P._, ressortissant étranger né en 1961, a travaillé en Suisse au service de B._ de décembre 1989 à juin 1992. Il est ensuite retourné dans son pays d'origine où il a exercé en dernier lieu la profession de pêcheur côtier jusqu'au 4 octobre 2004. Le 28 juillet 2004, l'intéressé a présenté une demande de prestations auprès de l'assurance-invalidité suisse. Par décision du 24 octobre 2005, confirmée sur opposition le 30 novembre 2006, l'Office de l'assurance-invalidité pour les assurés résidant à l'étranger (ci-après: l'OAIE) a rejeté sa demande au motif qu'il ne présentait aucune incapacité de travail dans une activité adaptée à son état de santé et, partant, aucune incapacité de gain propre à ouvrir droit à une rente d'invalidité. B. Par arrêt du 24 février 2009, le Tribunal administratif fédéral a rejeté le recours formé par l'assuré contre la décision sur opposition du 30 novembre 2006. C. P._ interjette un recours un matière de droit public contre ce jugement dont il demande l'annulation, en concluant à l'octroi, principalement, d'une rente entière, subsidiairement, d'un trois-quarts de rente, plus subsidiairement, d'une demi-rente et, plus subsidiairement encore, d'un quart de rente d'invalidité. L'OAIE a conclu au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. 