Faits: Faits: A. Par décision du 19 février 2004, l'Autorité de surveillance des avocates et des avocats du canton de Neuchâtel (ci-après: l'Autorité de surveillance) a notamment prononcé à l'encontre de X._, avocat à Y._, une interdiction de pratiquer d'une durée de deux ans et ordonné sa radiation du rôle officiel du barreau. Elle a retenu en particulier qu'en date du 27 novembre 2003, X._ faisait l'objet de poursuites pour 91'730,10 fr. et d'actes de défaut de biens pour 20'567,65 fr., de sorte qu'il ne remplissait plus les conditions de l'art. 8 al. 1 de la loi fédérale du 23 juin 2000 sur la libre circulation des avocats (loi sur les avocats; LLCA; RS 935.61). L'Autorité de surveillance a également relevé que l'intéressé avait gravement violé plusieurs de ses obligations professionnelles figurant notamment à l'art. 12 lettres a, f, h et i LLCA. Elle a considéré que X._ n'avait "peut-être momentanément pas les dispositions psychologiques nécessaires pour diriger une étude d'avocat indépendante". A. Par décision du 19 février 2004, l'Autorité de surveillance des avocates et des avocats du canton de Neuchâtel (ci-après: l'Autorité de surveillance) a notamment prononcé à l'encontre de X._, avocat à Y._, une interdiction de pratiquer d'une durée de deux ans et ordonné sa radiation du rôle officiel du barreau. Elle a retenu en particulier qu'en date du 27 novembre 2003, X._ faisait l'objet de poursuites pour 91'730,10 fr. et d'actes de défaut de biens pour 20'567,65 fr., de sorte qu'il ne remplissait plus les conditions de l'art. 8 al. 1 de la loi fédérale du 23 juin 2000 sur la libre circulation des avocats (loi sur les avocats; LLCA; RS 935.61). L'Autorité de surveillance a également relevé que l'intéressé avait gravement violé plusieurs de ses obligations professionnelles figurant notamment à l'art. 12 lettres a, f, h et i LLCA. Elle a considéré que X._ n'avait "peut-être momentanément pas les dispositions psychologiques nécessaires pour diriger une étude d'avocat indépendante". B. Par décision du 14 juin 2004, le Tribunal cantonal, Autorité de surveillance des avocates, des avocats et du notariat, du canton de Neuchâtel (ci-après: l'Autorité cantonale de recours) a rejeté le recours de X._ contre la décision de l'Autorité de surveillance du 19 février 2004. L'Autorité cantonale de recours a retenu en particulier que, par son attitude durant la procédure, X._ avait démontré que les craintes qu'éprouvait l'Autorité de surveillance, quant à sa capacité d'exercer son activité d'avocat indépendant avec soin et diligence, étaient fondées. L'Autorité cantonale de recours a également relevé que les difficultés financières de l'intéressé s'étaient sérieusement aggravées, puisqu'en date du 17 mai 2004, il faisait l'objet de poursuites pour 103'045,60 fr. et d'actes de défaut de biens pour 46'700,80 fr. Dès lors, les conditions d'une radiation du registre des avocats, au sens de l'art. 9 LLCA, étaient remplies et la sanction infligée était appropriée. B. Par décision du 14 juin 2004, le Tribunal cantonal, Autorité de surveillance des avocates, des avocats et du notariat, du canton de Neuchâtel (ci-après: l'Autorité cantonale de recours) a rejeté le recours de X._ contre la décision de l'Autorité de surveillance du 19 février 2004. L'Autorité cantonale de recours a retenu en particulier que, par son attitude durant la procédure, X._ avait démontré que les craintes qu'éprouvait l'Autorité de surveillance, quant à sa capacité d'exercer son activité d'avocat indépendant avec soin et diligence, étaient fondées. L'Autorité cantonale de recours a également relevé que les difficultés financières de l'intéressé s'étaient sérieusement aggravées, puisqu'en date du 17 mai 2004, il faisait l'objet de poursuites pour 103'045,60 fr. et d'actes de défaut de biens pour 46'700,80 fr. Dès lors, les conditions d'une radiation du registre des avocats, au sens de l'art. 9 LLCA, étaient remplies et la sanction infligée était appropriée. C. Agissant par la voie du recours de droit administratif, X._ demande au Tribunal fédéral, sous suite de frais, d'annuler la décision de l'Autorité cantonale de recours du 14 juin 2004. Il se plaint d'une fausse application des art. 8, 9, 12 et 17 LLCA. Il fait valoir en particulier que la mesure prise à son encontre est excessive, compte tenu de son état de santé. L'Autorité cantonale de recours et l'Autorité de surveillance ont fait savoir qu'elles n'avaient pas d'observations à formuler. L'Office fédéral de la justice a déposé des observations. 