Faits: A. X._, ressortissant français né en 1947, réside en Suisse depuis le 25 janvier 1996. Il était d'abord au bénéfice d'une autorisation de séjour imputée sur le contingent cantonal, puis d'une autorisation CE/AELE. Le recourant a fait l'objet des condamnations pénales suivantes: - le 29 avril 1996, le Tribunal correctionnel d'Albertville a prononcé une peine de six mois d'emprisonnement à son égard pour faux et usage de faux en écriture privée de commerce ou de banque, et faux dans l'écriture publique, - le 30 juin 1998, le Tribunal correctionnel du district de Lausanne (ci-après: le Tribunal correctionnel) l'a condamné pour escroquerie, abus de confiance, insoumission à une décision de l'autorité et délit contre la loi fédérale sur le matériel de guerre, à six mois d'emprisonnement et à trois ans d'expulsion avec sursis pendant trois ans, - le 25 juillet 2000, il a été condamné par le Tribunal correctionnel du district d'Echallens pour abus de confiance et escroquerie à quatre mois d'emprisonnement avec sursis et délai d'épreuve de quatre ans, peine partiellement complémentaire au jugement du 30 juin 1998, - le 7 mars 2006, le Tribunal correctionnel l'a condamné par défaut pour abus de confiance, escroquerie et recel à quinze mois d'emprisonnement, peine partiellement complémentaire à celle prononcée le 25 juillet 2000; ledit Tribunal a également révoqué le sursis à l'expulsion qui lui avait été accordé par jugement du 30 juin 1998 par le Tribunal correctionnel, ordonné son expulsion du territoire suisse pour une durée de trois ans, révoqué le sursis qui lui avait été accordé le 25 juillet 2000 par le Tribunal correctionnel d'Echallens et ordonné l'exécution de la peine de quatre mois d'emprisonnement. Le Tribunal correctionnel a confirmé son jugement du 7 mars 2006 par arrêt du 26 juillet 2006, le recourant persistant à faire défaut. - le 19 juin 2008, X._ a été condamné par le Tribunal correctionnel pour abus de confiance, escroquerie et faux dans les titres à une peine privative de liberté de douze mois avec sursis pendant cinq ans, peine partiellement complémentaire à celle prononcée par le Tribunal correctionnel le 26 juillet 2006. Le Service de la population du canton de Vaud (ci-après: le Service de la population), par décision du 5 février 2007, a révoqué l'autorisation de séjour CE/AELE de X._ et lui a imparti un délai d'un mois pour quitter la Suisse. Il justifiait cette décision par la gravité des peines prononcées à l'égard de l'intéressé dans les jugements de 1998, 2000 et 2006. B. Le 17 décembre 2008, l'Office fédéral des migrations a rendu, à l'encontre de X._, une décision d'interdiction d'entrée en Suisse valable jusqu'au 16 décembre 2013, motivée comme suit: "Atteinte et mise en danger de la sécurité et l'ordre publics en raison de son comportement (abus de confiance, escroquerie et faux dans les titres). Art. 67 al. 1 let. a LEtr." Par décision incidente du 19 juin 2009, le Tribunal administratif fédéral a rejeté la demande de X._ tendant à la restitution de l'effet suspensif du recours. Puis, le 16 mars 2010, il a rejeté le recours sur le fond. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, de réformer l'arrêt du 16 mars 2010 du Tribunal administratif fédéral en ce sens que la décision d'interdiction d'entrée en Suisse du 17 décembre 2008 prononcée par l'Office fédéral des migrations est nulle. Subsidiairement, il requiert le renvoi de la cause à l'autorité précédente pour nouveau jugement dans le sens des considérants. Il dénonce une appréciation arbitraire des preuves, une violation de l'art. 29 Cst. et du droit conventionnel. Le Service de la population et le Tribunal administratif fédéral ont renoncé à se déterminer sur le recours. L'Office fédéral des migrations a conclu au rejet du recours dans la mesure de sa recevabilité. 