Faits: A. Le 27 décembre 2007, X._ a déposé une demande pour être agréé en qualité d'expert-réviseur auprès de l'Autorité fédérale de surveillance en matière de révision (ci-après: l'Autorité de surveillance). Il a produit, à cet effet, son certificat de comptable diplômé. X._ a également requis l'agrément en faveur de la Fiduciaire Y._ SA (ci-après: la Fiduciaire), société dont il est l'administrateur unique avec signature individuelle. Le 6 février 2008, après un examen sommaire, l'Autorité de surveillance a admis la demande d'agrément à titre provisoire et l'a inscrit en qualité d'expert-réviseur dans le registre ad hoc. Après avoir reçu des pièces et informations complémentaires de X._, l'Autorité de surveillance a, par décision du 6 décembre 2010, refusé la demande d'agrément de l'intéressé, lui a retiré l'agrément provisoire préalablement octroyé et l'a radié du registre des réviseurs. Cette autorité a constaté que le Tribunal de police de La Chaux-de-Fonds avait condamné X._, le 27 novembre 2009, pour abus de confiance qualifié à une peine pécuniaire de 180 jours-amende à 150.- fr. avec sursis et à une amende de 5'000.- fr.; chargé de gérer les affaires, dont la fortune, d'une personne âgée séjournant dans un home, l'intéressé avait "employé sans droit à son profit" environ 60'000.- fr. X._ avait, en outre, produit un extrait du registre des poursuites du 31 mai 2010 faisant état de seize poursuites pour un montant total de 1'462'526.- fr., dont une seule avait été payée, ainsi que de quatre actes de défaut de biens totalisant 51'884.- fr. Sa situation financière était ainsi instable et remettait en cause son indépendance dans l'exercice de l'activité de réviseur. Compte tenu de ces éléments, le demandeur ne remplissait pas la condition de réputation irréprochable nécessaire à l'octroi de l'agrément d'expert-réviseur. B. Par arrêt du 13 juin 2012, le Tribunal administratif fédéral a, d'une part, déclaré le recours de la Fiduciaire irrecevable, la conclusion qui tendait à ce que l'agrément en qualité d'entreprise de révision lui soit accordé sortant de l'objet du litige. La Fiduciaire n'avait pas non plus d'intérêt propre et direct digne de protection à recourir en qualité de tiers aux côtés de X._. Ledit Tribunal a, d'autre part, rejeté le recours de X._. Il a principalement retenu que la situation financière de l'intéressé pouvait être qualifiée de violation des dispositions relatives à l'indépendance de l'organe de révision. Il fallait ajouter à cela que l'intéressé avait signé plusieurs rapports de révision établis pour le compte de la Fiduciaire alors qu'elle était dépourvue d'agrément; la Fiduciaire était, par ailleurs, inscrite au Registre du commerce du canton de A._ en qualité d'organe de révision de nombreuses sociétés. Ce faisant, X._ avait violé les dispositions légales topiques. Au vu de ces seuls éléments, il ne bénéficiait pas d'une réputation irréprochable et n'offrait pas la garantie d'une activité de révision exemplaire; il pouvait dès lors être renoncé à l'examen des conséquences sur la demande d'agrément de sa condamnation pénale. Finalement, la mesure contestée ne violait ni la garantie constitutionnelle de la liberté économique ni le principe de la proportionnalité. C. Agissant par la voie du recours en matière de droit public, X._ et la Fiduciaire prennent les conclusions suivantes devant le Tribunal fédéral: "- Admettre vu la notion de proximité entre le recourant et la recourante, le recours de cette dernière. (...). - Le recours du recourant est maintenu et recevable. - Pris acte des frais engendrés dans la cause. - Pris acte qu'aucun dépens n'est alloué. - Des tableaux complets, tant pour la recourante que pour le recourant, sont en phase d'élaboration par une tierce personne afin de pouvoir constater de manière neutre, que la situation financière s'améliore de mois en mois. (...). - Les preuves par tableaux parviendront au Tribunal dès leur conception par la tierce personne mandatée à cet effet. (...)." L'Autorité de surveillance conclut à l'irrecevabilité du recours tant en ce qui concerne X._ que la Fiduciaire, subsidiairement à son rejet. Le Tribunal administratif fédéral a renoncé à déposer des observations. 