Faits : A. A.a. A._, ressortissant serbe né le 6 avril 1982, a contracté mariage, dans son pays d'origine, avec sa compatriote B._, titulaire d'une autorisation d'établissement en Suisse, en date du 30 juillet 2003. Le 13 septembre 2004, le Service de la population et des migrants du canton de Fribourg (ci-après: le Service de la population) a habilité la Représentation suisse à Belgrade à délivrer à l'intéressé un visa afin de permettre à celui-ci de rejoindre son épouse en Suisse. L'intéressé est entré en Suisse le 22 septembre 2004 et a été mis au bénéfice d'une autorisation de séjour au titre du regroupement familial. A.b. Le 2 octobre 2004, l'épouse de A._ a donné naissance à leur enfant commun, prénommé C._. Les époux se sont séparés en date du 31 octobre 2006. Par jugement du 28 février 2007, le Président du Tribunal civil de la Veveyse a notamment attribué la garde de l'enfant à sa mère, fixé la contribution du père pour l'entretien de son fils et réglé les modalités du droit de visite du père. Par jugement du 11 janvier 2010, définitif et exécutoire à la date du 22 février 2010, le Président du Tribunal civil de la Veveyse a prononcé le divorce des époux A._ B._. Après avoir procédé au réexamen de ses conditions de séjour, le Service de la population a indiqué à A._, par courrier du 27 juillet 2010, qu'il était favorable au renouvellement de son autorisation de séjour, précédemment prolongée à plusieurs reprises, tout en réservant l'approbation de l'Office fédéral des migrations. A.c. Au plan professionnel, A._ a exercé, dès le 1er février 2010, une activité indépendante dans le domaine de la plâtrerie et de la peinture. Son entreprise individuelle a été radiée du registre du commerce le ** ** ** suite à la faillite prononcée le 4 juin 2012. L'intéressé a poursuivi son activité sous une nouvelle raison sociale. Selon un extrait de l'Office des poursuites de la Sarine du 28 octobre 2013, A._ faisait l'objet à cette date de poursuites pour un montant de 112'179 fr. 30 et des actes de défaut de biens avaient été délivrés à ses créanciers pour un montant de 8'282 fr. 35. L'intéressé n'a jamais émargé à l'aide sociale. Le 11 novembre 2008, A._ a été condamné, par la Préfecture du district de la Riviera-Pays-d'Enhaut, à une peine pécuniaire de 10 jours amende à 50 fr. avec sursis durant deux ans ainsi qu'à une amende de 600 fr. pour conduite d'un véhicule automobile sans permis de conduire ou malgré un retrait. Il a en outre affirmé avoir fait l'objet de trois retraits de permis de conduire pour violation des règles de la circulation et excès de vitesse. B. Après lui avoir donné l'occasion de s'exprimer, l'Office fédéral des migrations, par décision du 14 février 2011, a refusé son approbation à la prolongation de l'autorisation de séjour de A._ et a prononcé son renvoi de Suisse. De l'avis de cet office, l'intéressé ne pouvait pas se prévaloir de l'art. 50 al. 1 let. a de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20) compte tenu de la durée de son union conjugale avec B._, il ne pouvait pas invoquer des raisons personnelles majeures au sens de l'art. 50 al. 1 let. b LEtr et on pouvait attendre de lui qu'il exerce son droit de visite sur son fils C._ depuis l'étranger. Le 24 septembre 2011, A._ a contracté mariage, en Serbie, avec sa compatriote D._, qui a donné naissance, le 24 décembre 2011, à leur fils commun, prénommé E._. Saisi d'un recours dirigé contre la décision de l'Office fédéral des migrations du 14 février 2011, le Tribunal administratif fédéral, Cour III, l'a rejeté, par arrêt du 10 décembre 2013. Il a confirmé que la durée de l'union conjugale avec la première épouse de A._ ne permettait pas de faire application de l'art. 50 al. 1 let. a LEtr et a considéré que la décision attaquée ne violait ni l'art. 50 al. 1 let. b LEtr, ni l'art. 8 CEDH. C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal administratif fédéral du 10 décembre 2013 et de révoquer la décision de l'Office fédéral des migrations du 14 février 2011. Il requiert également l'effet suspensif au recours. A._ se plaint de la violation de l'art. 50 al. 1 let. a LEtr en lien avec la durée de l'union conjugale et de la violation des art. 50 al. 1 let. b LEtr et 8 CEDH. Par ordonnance du 7 février 2014, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la demande d'effet suspensif. Le Tribunal administratif fédéral renonce à prendre position sur le recours. L'Office fédéral des migrations propose de le rejeter. 