Faits: A. A._ est domicilié à U._. Au terme d'une procédure en soustraction d'impôt initiée contre lui par le Service des contributions du canton du Jura (ci-après le Service cantonal), cette autorité a, par décision du 3 octobre 2011 concernant tant l'impôt fédéral direct (ci-après IFD) que l'impôt d'Etat (impôt cantonal, communal et ecclésiastique), procédé à des rappels d'impôt en relation avec les périodes fiscales 1995 à 2002 et à des reprises fiscales en relation avec les périodes fiscales 2003 à 2010, assortis d'amendes pour soustraction, respectivement tentative de soustraction. Cette décision a été confirmée sur réclamation le 9 décembre 2011. B. Saisie sur recours de A._, la Commission cantonale des recours en matière d'impôts du canton du Jura (ci-après la Commission de recours) a rendu, le 1 er octobre 2012, une décision constatant la prescription de l'impôt d'Etat pour la période fiscale 1996 et celle de l'IFD pour la période fiscale 1995-1996, rejetant le recours pour le surplus. Entre autres éléments, la Commission de recours a retenu, sur le fond, que A._ n'avait pas respecté ses obligations de procédure en n'apportant pas de pièces justificatives démontrant la provenance et l'affectation d'un montant de 436'053 fr. 90 retiré d'un compte bancaire non déclaré le 23 mai 2005, de sorte que le Service des contributions avait à juste titre ajouté, pour les périodes fiscales 2005 à 2010 (art. 105 al. 2 LTF), un montant équivalent à sa fortune imposable, ainsi qu'un rendement de cette fortune à son revenu imposable, estimé à 10'000 fr. par année. Il en résultait un montant total dû par A._ de 254'131 fr. pour l'impôt d'Etat et de 20'257 fr. 15 pour l'IFD pour l'ensemble des périodes fiscales considérées, amendes comprises. A._ a recouru contre la décision du 1 er octobre 2012 auprès de la Cour administrative du Tribunal cantonal jurassien (ci-après le Tribunal cantonal). Entre autres griefs relatifs à divers éléments qui ont fait l'objet de rappels d'impôt ou de reprises, il a allégué que le montant de 436'053 fr. 90 qu'il avait retiré d'un compte bancaire le 23 mai 2005 provenait d'un prêt qui lui avait été accordé par des mécènes et qu'il avait remboursé à ces derniers, de sorte que ce montant ne devait pas figurer dans sa fortune imposable à partir de l'année 2005 et qu'il n'y avait de ce fait pas lieu non plus d'ajouter un rendement de fortune y afférent à son revenu imposable. Par arrêt du 12 septembre 2013, le Tribunal cantonal a admis partiellement le recours et annulé la décision attaquée en ce qui concerne le rappel d'impôt et l'amende relatifs à la période fiscale 1997, tant en matière d'IFD que pour l'impôt d'Etat, en raison de la prescription. Il l'a rejeté pour le surplus, confirmant ainsi, en particulier, les reprises effectuées dans la fortune et le revenu de A._ en relation avec le montant susmentionné de 436'053 fr. 90 et son rendement estimé. Les juges cantonaux ont fixé un impôt complémentaire de 208'355 fr. 70 pour l'impôt d'Etat et de 15'624 fr. 15 pour l'IFD pour l'ensemble des périodes fiscales considérées, amendes comprises. C. A._ recourt au Tribunal fédéral par la voie du recours en matière de droit public contre l'arrêt du 12 septembre 2013. Sous suite de frais et dépens, il conclut, à titre principal, à l'annulation de l'arrêt attaqué, de la décision de la Commission de recours du 1 er octobre 2012 et de la décision sur réclamation du Service cantonal du 9 décembre 2011, ainsi qu'au renvoi de l'affaire au Service cantonal, subsidiairement au Tribunal cantonal, pour nouvelle décision. A titre subsidiaire, il demande au Tribunal fédéral de " rendre une nouvelle décision, soit fixer les impôts supplémentaires, les amendes et les intérêts sans tenir compte, au titre de revenus, des montants remis par les mécènes, ni en ajoutant le montant de 346'000 fr. retiré et restitué par le recourant à ces mécènes en 2005, ni en ajoutant un revenu hypothétique de ce montant de 346'000 fr. ". Le Tribunal cantonal conclut au rejet du recours et à la confirmation de son arrêt. Le Service cantonal conclut au rejet du recours et au constat que l'impôt supplémentaire dû tant en matière d'impôt d'Etat que d'IFD pour l'année fiscale 1998 est prescrit et, partant, à la fixation du montant d'impôt supplémentaire dû, amendes comprises, à 135'218 fr. 10 pour l'impôt d'Etat et à 11'261 fr. 15 pour l'IFD. L'Administration fédérale des contributions se rallie aux observations et aux conclusions formulées par le Service cantonal. 