Faits: A. Les époux H.X._ et F.X._ étaient domiciliés à Genève entre le 1 er janvier 2005 et le 31 [sic] avril 2008. Il ressort du dossier qu'ils sont propriétaires d'un immeuble à Genève (art. 105 al. 2 LTF). A.a. Le 4 avril 2007, ils ont été taxés d'office par l'Administration fiscale cantonale genevoise (ci-après: l'Administration fiscale) pour l'année 2005, sur la base d'un revenu imposable de 108'382 fr. et d'une fortune imposable de 513'136 fr. pour l'impôt cantonal et communal (ci-après: ICC) et d'un revenu imposable de 108'300 fr. pour l'impôt fédéral direct (ci-après: IFD). Le 10 décembre 2007, ils ont été taxés d'office pour l'année 2006, sur la base d'un revenu imposable de 119'200 fr. et d'une fortune imposable de 564'450 fr. pour l'ICC et d'un revenu imposable de 119'100 fr. pour l'IFD. Le 21 décembre 2007, les époux X._ ont déposé leurs déclarations d'impôt 2005 et 2006 par l'intermédiaire de leur mandataire, H.X._ justifiant la négligence de ses obligations fiscales par de nombreux problèmes familiaux. La déclaration fiscale 2005 faisait état d'un revenu de 15'920 fr. et d'une fortune de 801'313 fr. imposables au titre de l'ICC et d'un revenu imposable de 18'085 fr. pour l'IFD. La déclaration fiscale 2006 mentionnait un revenu de 68'765 fr. et une fortune de 981'564 fr. imposables au titre de l'ICC et un revenu imposable de 69'972 fr. pour l'IFD. Le 13 mars 2008, le Service immobilier de l'Administration fiscale a imparti aux époux X._, à l'adresse de leur mandataire, un délai au 27 mars 2008 pour lui faire parvenir des documents relatifs à un immeuble leur appartenant à Genève aux fins de procéder à leur taxation pour les périodes fiscales 2005 et 2006, demande réitérée le 25 avril 2008 et assortie d'un nouveau délai échéant au 27 mars [recte: 19 mai] 2008. Les documents sollicités auraient été envoyés à l'Administration fiscale par pli simple le 13 mai 2008 par le mandataire des contribuables. Le 17 février 2009, le service de taxation B de l'Administration fiscale a adressé un courrier recommandé aux époux X._, leur impartissant un délai au 27 février 2009 pour produire des pièces nécessaires à l'examen des réclamations qu'ils avaient formées pour les années 2005 et 2006 (soit l'envoi de leurs déclarations fiscales 2005 et 2006), sans quoi celles-ci seraient déclarées irrecevables. Par décisions sur réclamation du 19 mars 2009, l'Administration fiscale a prononcé l'irrecevabilité des réclamations susmentionnées au motif qu'elles ne répondaient pas aux exigences de preuve, malgré la demande recommandée du 17 février 2009. Ces décisions n'ont pas fait l'objet d'un recours. Les 18 et 30 novembre 2009, les époux X._ ont demandé à l'Administration fiscale de leur faire parvenir les décisions de taxation résultant de leurs déclarations fiscales 2005 et 2006; en réponse, l'Administration fiscale leur a transmis, le 9 décembre 2009, copie des deux décisions sur réclamation du 19 mars 2009. A.b. Le 8 septembre 2008, l'Administration fiscale a procédé à la taxation d'office des époux X._ pour l'année 2007, sur la base d'un revenu imposable de 187'698 fr. et d'une fortune imposable de 1'985'803 fr. pour l'ICC et d'un revenu imposable de 274'100 fr. pour l'IFD. Le 27 novembre 2009, les intéressés ont transmis à l'Administration fiscale leur déclaration d'impôt 2007 par l'intermédiaire de leur mandataire, faisant état d'un revenu imposable de 51'809 fr. et d'une fortune imposable de 1'155'875 pour l'IFD [recte: ICC; le revenu imposable pour l'IFD s'élevant à 53'637 fr. selon la déclaration d'impôt figurant au dossier]. Traitant cet envoi comme une réclamation, l'Administration fiscale l'a déclarée irrecevable le 10 décembre 2009. Le 3 août 2009, l'Administration fiscale a procédé à la taxation d'office des époux X._ pour l'année 2008, sur la base d'un revenu imposable de 180'698 fr. et d'une fortune imposable de 1'755'462 fr. pour l'ICC et d'un revenu imposable de 256'600 fr. pour l'IFD. Le 30 novembre 2009, les époux X._ ont transmis à l'Administration fiscale leur déclaration d'impôt 2008 par l'intermédiaire de leur mandataire, celle-ci faisant état d'un revenu imposable de 41'520 fr. et d'une fortune imposable de 1'659'864 fr. pour l'ICC et d'un revenu imposable de 40'899 fr. pour l'IFD. Traitant cet envoi comme une réclamation, l'Administration fiscale l'a déclarée irrecevable le 3 décembre 2009. B. Le 13 janvier 2010, les contribuables ont déposé un recours auprès de la Commission cantonale de recours en matière administrative, remplacée le 1er janvier 2011 par le Tribunal administratif de première instance (ci-après: le Tribunal administratif) contre les décisions sur réclamation du 19 mars 2009, transmises en copie le 9 décembre 2009, concernant les périodes fiscales 2005 et 2006, la décision sur réclamation du 10 décembre 2009 concernant la période fiscale 2007 et la décision sur réclamation du 3 décembre 2009 concernant la période fiscale 2008. Le 11 avril 2011, le Tribunal administratif a rejeté le recours. Le 27 mai 2011, les époux X._ ont recouru contre ce jugement auprès de la Chambre administrative de la Cour de justice (ci-après: la Cour de justice), qui a également rejeté le recours le 12 mars 2013. C. Agissant par la voie du recours en matière de droit public au Tribunal fédéral, H.X._ et F.X._ concluent, avec suite de frais et " d'indemnité de procédure ", à l'annulation de l'arrêt de la Cour de justice, au renvoi de la cause au Tribunal administratif ou à l'Administration fiscale pour notification de nouveaux bordereaux d'impôt conformes à leurs déclarations fiscales pour les années 2005, 2006 et 2007, au renvoi de la cause au Tribunal administratif ou à l'Administration fiscale cantonale pour notification d'un nouveau bordereau d'impôt ICC 2008 tenant compte de leur domicile vaudois, le Tribunal fédéral étant requis de constater que les recourants n'étaient pas assujettis à l'IFD à Genève en 2008. A titre subsidiaire, ils demandent au Tribunal fédéral qu'il les autorise à acheminer la preuve des faits allégués dans leur mémoire de recours. La Cour de justice s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. L'Administration fiscale conclut au rejet du recours, de même que l'Administration fédérale des contributions. Le 26 septembre 2013, le Président de la Cour de céans a rejeté la requête d'effet suspensif contenue dans le recours. Le 5 octobre 2013, les recourants ont fait parvenir à la Cour de céans des observations finales. 