Faits: A. A.a Par décision du 23 avril 2003, reposant sur un prononcé de l'Office de l'assurance-invalidité du canton de Neuchâtel (ci-après: l'OAI-NE) du 23 décembre 2002, l'Office de l'assurance-invalidité pour les assurés résidant à l'étranger (ci-après: l'OAIE) a octroyé à S._ une rente entière d'invalidité du 1er mars 2000 au 31 mai 2001. L'autorité expliquait qu'à réception de l'attestation des périodes d'assurance françaises, elle examinerait s'il y avait lieu de recalculer la rente, qu'une formule à remplir était jointe à la décision afin de permettre le paiement sur un compte bancaire et qu'elle avait placé la somme due à titre rétroactif sur un compte d'attente en prévision d'une éventuelle surindemnisation avec la Caisse nationale suisse d'assurance en cas d'accidents (CNA). Après avoir recalculé la rente en tenant compte des périodes d'assurance accomplies en France, l'OAIE a, par décision du 4 août 2004, remplacé la décision du 23 avril 2003 en octroyant des prestations d'un montant supérieur pour la période concernée par le droit à la rente et versé le différentiel sur le compte d'attente. A.b L'avocat de S._, Me Bruno Kaufmann, s'est opposé à la décision du 4 août 2004 par acte du 8 septembre 2004. Il a fait valoir que la décision précitée ne mentionnait aucun motif pour lequel le droit à la rente était limité dans le temps et a requis l'octroi d'une demi-rente pour une durée illimitée. Il a également reproché à l'autorité le «remboursement» des rentes rétroactives à la CNA à hauteur de 17'415 fr. Il annonçait par ailleurs un complément à son écriture, lequel n'est jamais parvenu. En revanche, il s'est enquis de l'avancement de la procédure par courrier du 15 février 2005 auquel l'autorité a répondu le 16 février 2005, réponse que le représentant de l'assuré a prétendu ne jamais avoir reçue (cf. lettre de Me Kaufmann du 15 novembre 2005). Par décision du 11 décembre 2006, l'OAIE a rejeté l'opposition de S._. B. Par arrêt du 24 juin 2009, le Tribunal administratif fédéral a rejeté le recours formé par S._ contre la décision sur opposition du 11 décembre 2006. En substance, les premiers juges ont retenu que l'OAIE aurait dû déclarer irrecevable l'opposition de l'assuré contre sa décision du 4 août 2004 car ce dernier soulevait des griefs ayant trait à la décision du 23 avril 2003, laquelle était entrée en force. L'avocat du recourant ayant soulevé l'irrégularité de la notification de la décision du 23 avril 2003, affirmant ne jamais l'avoir reçue, le tribunal de première instance a considéré qu'un faisceau d'indices montrait que dite décision avait été envoyée au mandataire ou, à tout le moins, que ce dernier en avait eu connaissance à une date indéfinie mais dont le délai pour recourir était très vraisemblablement échu. C. S._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation en concluant, sous suite de frais et dépens, au renvoi de la cause au Tribunal administratif fédéral afin qu'il entre en matière sur le fond du litige. L'OAIE conclut au rejet du recours et à la confirmation du jugement attaqué. 