Faits: A. Le 1er mars 2007, A._, ressortissant tunisien né le 12 juin 1976, a déposé une demande de naturalisation facilitée fondée sur son mariage avec une ressortissante helvétique, B._, célébré le 1er septembre 2003. Selon un rapport d'enquête établi le 22 janvier 2008 par la Police municipale de la Ville de Lausanne, A._ fait l'objet de cinq poursuites en cours, dont quatre sont frappées d'opposition, pour un total de 1'129.85 fr. ainsi que de douze actes de défaut de biens délivrés au cours des cinq dernières années pour une somme de 14'492.20 fr. Il aurait en outre des arriérés d'impôts. Le 8 février 2008, l'Office fédéral des migrations a informé le requérant que la naturalisation facilitée ne pouvait pas être prononcée aussi longtemps que des poursuites étaient en suspens ou qu'il existait des actes de défaut de biens de moins de cinq ans. Il lui recommandait en conséquence de retirer momentanément sa requête. L'occasion lui était en outre donnée de se déterminer dans un délai de deux mois. Le 14 février 2008, A._ a maintenu sa requête. Il s'est engagé à payer le montant des poursuites en suspens dans la mesure de ses possibilités. Le 7 mai 2008, l'Office fédéral des migrations a demandé à l'intéressé de lui faire parvenir une attestation récente des autorités fiscales certifiant que ses impôts sont régulièrement payés ou la preuve qu'un éventuel arrangement a été accordé pour le règlement de ses arriérés d'impôts, ainsi qu'une attestation récente de l'Office des poursuites démontrant l'absence de poursuites et d'actes de défaut de biens. Le 14 mai 2008, A._ a refusé de délivrer un extrait récent de l'Office des poursuites au motif que l'état des dettes relevait de la sphère privée et que la naturalisation facilitée ne pouvait pas être refusée pour des raisons économiques sans violer le droit à l'égalité des chances. Il s'est au surplus référé à une attestation de l'Administration cantonale des impôts du canton de Vaud du 4 avril 2008, certifiant qu'il était à jour avec le paiement de ses impôts. Le 30 octobre 2008, l'Office fédéral des migrations a une nouvelle fois rappelé au requérant que l'existence de dettes ne lui permettait pas de répondre favorablement à sa demande de naturalisation facilitée et précisé qu'une nouvelle demande pourrait être déposée lorsque sa situation financière serait assainie. Il a maintenu sa position dans un courrier du 19 novembre 2008. A._ ayant requis le prononcé d'une décision formelle sujette à recours, l'Office fédéral des migrations a statué en date du 22 décembre 2008 et refusé la demande de naturalisation facilitée. Le 12 janvier 2009, les époux A._ et B._ ont recouru contre cette décision auprès du Tribunal fédéral; leur acte a été transmis au Tribunal administratif fédéral comme objet de sa compétence. Par acte du 22 janvier 2009, A._ a été invité à payer une avance sur les frais de procédure présumés de 1'000 fr. d'ici au 20 février 2009, à peine d'irrecevabilité. Il a déposé le lendemain une demande de dispense du paiement de l'avance de frais que le Tribunal administratif fédéral a rejetée par décision du 29 janvier 2009 au motif que le procès était dénué de chances de succès. B. Agissant par la voie du recours en matière de droit public, A._ et B._ demandent au Tribunal fédéral d'annuler cette décision qu'ils tiennent pour discriminatoire et attentatoire à leur sphère privée et à leur dignité. Le Tribunal administratif fédéral a renoncé à prendre position sur le recours. 