Faits: Faits: A. Le 5 décembre 2003, l'Administration fiscale cantonale genevoise (ci-après: l'Administration fiscale cantonale) a notifié aux époux A.X._ et B.X._ une décision de taxation concernant l'impôt fédéral direct pour les revenus extraordinaires réalisés pendant la période de taxation 2000. Le montant de l'impôt, calculé sur la base d'un revenu imposable de 2'000'000 fr., a été fixé à 255'494.85 fr. (230'000 fr. d'impôt pour une année + 25'494.85 fr. d'intérêts de retard). Le même jour, l'Administration fiscale cantonale a infligé aux contribuables une amende de 76'666 fr. s'agissant de l'impôt fédéral direct précité, considérant qu'ils avaient, par négligence, omis de mentionner au fisc qu'ils avaient bénéficié d'un abandon de créance au cours de l'année civile 2000. Afin de tenir compte de leur situation financière et de l'importance du montant qui leur était réclamé, l'amende était réduite à son minimum légal, soit un tiers du montant de l'impôt soustrait. Par décision sur réclamation du 12 février 2004, l'Administration fiscale cantonale a confirmé la taxation et l'amende du 5 décembre 2003. Par décision sur réclamation du 12 février 2004, l'Administration fiscale cantonale a confirmé la taxation et l'amende du 5 décembre 2003. B. Le 8 mars 2004, B.X._ a déposé auprès de l'Administration fiscale cantonale une demande de remise de l'impôt, notamment pour l'impôt fédéral direct 2000 de 255'494.85 fr. et pour l'amende y relative de 76'666 fr. Il indiquait qu'il avait effectivement conclu une convention d'assainissement avec la Banque Y._ les 13 et 16 décembre 1999, mais que la remise de dette ne lui avait procuré aucun revenu. Son imposition était ainsi contraire à la réalité économique et il se trouvait dans l'impossibilité de régler le montant imposé. Le même jour, il a adressé à la Commission cantonale de recours en matière d'impôts du canton de Genève (ci-après: la Commission cantonale) une copie de sa demande de remise de l'impôt précitée, en se "réservant le droit de recourir" auprès de ladite Commission contre la décision sur réclamation du 12 février 2004 en cas de réponse négative du fisc. Par décision du 14 décembre 2005, la Commission cantonale a déclaré irrecevable le recours du 8 mars 2004, estimant que l'acte de recours ne répondait pas aux exigences formelles de l'art. 140 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (ci-après: LIFD ou la loi sur l'impôt fédéral direct; RS 642.11). Par décision du 14 décembre 2005, la Commission cantonale a déclaré irrecevable le recours du 8 mars 2004, estimant que l'acte de recours ne répondait pas aux exigences formelles de l'art. 140 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (ci-après: LIFD ou la loi sur l'impôt fédéral direct; RS 642.11). C. Le 23 mai 2006, le Tribunal administratif du canton de Genève (ci-après: le Tribunal administratif) a rejeté le recours de A.X._ et B.X._ contre la décision de la Commission cantonale du 14 décembre 2005. Il a retenu en substance que le courrier du 8 mars 2004 adressé à la Commission cantonale ne constituait pas un acte de recours contre la décision sur réclamation du 12 février 2004, les intéressés se contentant de "se réserver leur droit de recourir" au cas où la réponse du fisc ne leur conviendrait pas. En outre, il n'incombait pas à la Commission cantonale de leur accorder un délai supplémentaire pour compléter une demande juridique inexistante. C. Le 23 mai 2006, le Tribunal administratif du canton de Genève (ci-après: le Tribunal administratif) a rejeté le recours de A.X._ et B.X._ contre la décision de la Commission cantonale du 14 décembre 2005. Il a retenu en substance que le courrier du 8 mars 2004 adressé à la Commission cantonale ne constituait pas un acte de recours contre la décision sur réclamation du 12 février 2004, les intéressés se contentant de "se réserver leur droit de recourir" au cas où la réponse du fisc ne leur conviendrait pas. En outre, il n'incombait pas à la Commission cantonale de leur accorder un délai supplémentaire pour compléter une demande juridique inexistante. D. A.X._ et B.X._ ont interjeté un recours de droit administratif au Tribunal fédéral contre l'arrêt du 23 mai 2006 du Tribunal administratif. Ils demandent au Tribunal fédéral, sous suite de dépens, d'annuler l'arrêt attaqué et de déclarer recevable leur recours du 8 mars 2004 contre la décision sur réclamation du 12 février 2004 ainsi que de renvoyer le dossier à la Commission cantonale pour l'examen au fond dudit recours. Ils se plaignent d'une mauvaise constatation des faits et application du droit, de formalisme excessif ainsi que d'une violation du principe de la bonne foi. Le Tribunal administratif n'a pas formulé d'observations sur le recours. L'Administration fiscale cantonale a conclu au rejet du recours, sous suite de frais. L'Administration fédérale des contributions propose le rejet du recours, sous suite de frais. 