Faits: Faits: A. A.a V._, né en 1952, a travaillé en qualité de conducteur d'élévateur auprès de l'entreprise X._ SA. Le 3 août 1994, il est tombé d'une échelle sur la main droite et n'a plus repris le travail. Le 12 avril 1995, il a présenté une demande de prestations de l'assurance-invalidité. Après avoir constaté que l'assuré souffrait d'une nécrose aseptique du semi-lunaire à la suite d'une luxation rétro-lunaire du carpe réduite à ciel ouvert tardivement (rapport de la doctoresse A._, spécialiste en chirurgie plastique et reconstructive et chirurgie de la main et des nerfs périphériques, du 29 novembre 1995) et qu'une réadaptation professionnelle posait des difficultés, l'Office de l'assurance-invalidité du canton du Jura (l'Office) lui a alloué, par décision du 9 décembre 1996, une rente entière d'invalidité à partir du 1er août 1995, basée sur un taux d'invalidité de 80 %. Auparavant, la Caisse nationale suisse en cas d'accidents (CNA) avait mis l'intéressé au bénéfice d'une rente d'invalidité de 50 % dès le 1er novembre 1996 (décision du 28 novembre 1996). La CNA avait estimé que la capacité résiduelle de V._ (80 % dans une activité légère) devait lui permettre d'obtenir un revenu correspondant au 50 % de celui obtenu avant la survenance de l'invalidité. A.b Suite au retour définitif de l'assuré en Espagne, le dossier de ce dernier a été transmis à l'Office AI pour les assurés résidant à l'étranger (OAI) qui a entrepris une révision de la rente. Celui-ci a considéré, sur la base des rapports de ses médecins-conseils (rapports des docteurs B._ des 23 novembre 1998 et 20 avril 1999 et C._ des 5 novembre 1999 et 22 février 2000), que l'état de santé de V._ s'était amélioré, dans la mesure où son incapacité de travail, dans une activité adaptée légère à moyenne, n'était plus que de 20 %. Procédant à la comparaison des revenus, l'OAI a fixé le taux d'invalidité à 50 %, ce qui l'a amené à remplacer la rente entière d'invalidité par une demi-rente dès le 1er juin 2000 (décision du 3 avril 2000). L'assuré a formé recours contre cette décision devant la Commission fédérale de recours en matière d'AVS/AI pour les personnes résidant à l'étranger (la commission), qui a, par jugement du 10 octobre 2000, renvoyé le dossier à l'administration pour instruction complémentaire. L'OAI a requis des renseignements médicaux de la sécurité sociale espagnole (rapport du docteur D._, médecin de l'INSS, du 21 février 2001) et confié une expertise au docteur E._, spécialiste en chirurgie de la main et des nerfs périphériques (rapport du 27 mars 2002). Dans son appréciation du 2 mai 2002, la doctoresse M._, médecin-conseil de l'OAI, a fait état d'une capacité de travail dans une activité adaptée de 80 % à partir du 1er juillet 1998 et de 100 % dès le 13 mars 2002; l'OAI a procédé à la comparaison des revenus et a abouti à un taux d'invalidité de 59 % à partir du 1er juillet 1998 et de 50 % dès le 13 mars 2002. Il a confirmé, par décision du 20 septembre 2002, le remplacement de la rente entière d'invalidité par une demi-rente avec effet au 1er juin 2000. L'OAI a requis des renseignements médicaux de la sécurité sociale espagnole (rapport du docteur D._, médecin de l'INSS, du 21 février 2001) et confié une expertise au docteur E._, spécialiste en chirurgie de la main et des nerfs périphériques (rapport du 27 mars 2002). Dans son appréciation du 2 mai 2002, la doctoresse M._, médecin-conseil de l'OAI, a fait état d'une capacité de travail dans une activité adaptée de 80 % à partir du 1er juillet 1998 et de 100 % dès le 13 mars 2002; l'OAI a procédé à la comparaison des revenus et a abouti à un taux d'invalidité de 59 % à partir du 1er juillet 1998 et de 50 % dès le 13 mars 2002. Il a confirmé, par décision du 20 septembre 2002, le remplacement de la rente entière d'invalidité par une demi-rente avec effet au 1er juin 2000. B. V._ a déféré cette décision à la commission, faisant valoir que son état de santé ne s'était pas amélioré depuis l'octroi de la rente entière d'invalidité et que l'instruction complémentaire diligentée par l'OAI était insuffisante, notamment eu égard à l'examen effectué par le docteur E._. La commission a débouté l'assuré par jugement du 11 août 2003. B. V._ a déféré cette décision à la commission, faisant valoir que son état de santé ne s'était pas amélioré depuis l'octroi de la rente entière d'invalidité et que l'instruction complémentaire diligentée par l'OAI était insuffisante, notamment eu égard à l'examen effectué par le docteur E._. La commission a débouté l'assuré par jugement du 11 août 2003. C. V._ interjette recours de droit administratif contre ce jugement, dont il requiert l'annulation, concluant, sous suite de dépens, à l'octroi d'une rente entière d'invalidité. L'OAI conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer. 