Faits : A. Le 12 septembre 2007, X._ a déposé, auprès de l'Autorité fédérale de surveillance en matière de révision (ci-après: l'Autorité de surveillance), une demande tendant à être agréé en qualité d'expert-réviseur. A cet effet, il a notamment produit ses diplômes d'ingénieur électricien et de docteur ès sciences techniques délivrés par l'Ecole polytechnique fédérale de Lausanne en 1982 respectivement 1984. Il a également fourni son Master of Business Administration (ci-après: MBA) obtenu auprès de l'Institut européen d'administration des affaires (ci-après: INSEAD), en France, au terme de l'année académique 1985. Il a, en outre, fait état de diverses expériences professionnelles. Par décision du 5 juillet 2012, l'Autorité de surveillance a rejeté la demande d'agrément en qualité d'expert-réviseur déposée par X._, retiré l'agrément provisoire octroyé le 21 janvier 2008 et radié l'inscription correspondante du registre des réviseurs. Elle a également refusé de lui délivrer un agrément en qualité de réviseur. B. Le Tribunal administratif fédéral a rejeté le recours de l'intéressé par arrêt du 27 janvier 2014. En ce qui concerne l'agrément en qualité de réviseur (seul encore litigieux devant le Tribunal fédéral), il a jugé que le MBA de X._ ne pouvait pas être qualifié de formation de second cycle au sens de l'art. 5 de l'ordonnance du Conseil fédéral du 22 août 2007 sur l'agrément et la surveillance des réviseurs (OSRev ou ordonnance sur l'agrément des réviseurs; RS 221.302.3). C. X._ demande au Tribunal fédéral, sous suite de frais et dépens, de dire que le MBA de l'INSEAD est un diplôme au sens des art. 4 al. 2 let. c de la loi fédérale du 16 décembre 2005 sur l'agrément et la surveillance des réviseurs (LSR ou loi sur l'agrément des réviseurs; RS 221.302) et de l'art. 5 OSRev et de lui accorder l'agrément de réviseur; subsidiairement, de retourner la cause au Tribunal administratif fédéral pour examen des autres conditions d'agrément comme réviseur au sens de l'art. 4 al. 2 LSR. L'Autorité fédérale de surveillance conclut à l'irrecevabilité du recours et, si celui-ci devait être déclaré recevable, à son rejet. Le Tribunal administratif fédéral a renoncé à se déterminer X._ a encore déposé des observations le 5 mai 2014. Par ordonnance du 24 mars 2014, le Président de la IIe Cour de droit public a admis la requête d'effet suspensif. 