Faits: A. X._ est en litige avec l'Administration cantonale vaudoise des impôts (ci-après l'Administration cantonale), qui lui reproche diverses soustractions et tentatives de soustraction fiscales. A.a Par arrêt du 7 avril 2003 (causes 2P.215/2002 et 2A.479/2002), le Tribunal fédéral a rejeté, dans la mesure de sa recevabilité, le recours de droit administratif formé par X._ à l'encontre d'un arrêt du Tribunal administratif vaudois du 20 août 2002 et déclaré irrecevable le recours de droit public interjeté parallèlement contre ce même arrêt. Le litige portait sur une procédure de soustraction fiscale concernant l'impôt cantonal et communal (ICC) pour les périodes 1991-1992, 1993-1994 et 1995-1996. Il était reproché à X._ de n'avoir pas déclaré tous ses revenus ni tous les éléments de sa fortune en relation avec la société Y._, dont il a été retenu qu'il était le véritable ayant droit économique, et avec la société Z._ Holding SA, dont il détenait l'entier du capital-actions. Selon cet arrêt, c'était à bon droit que les juges cantonaux avaient admis que les conditions de la soustraction fiscale étaient réalisées. A.b Parallèlement, X._ a fait l'objet d'autres procédures pour soustraction fiscale concernant l'impôt fédéral direct (IFD) relatif aux périodes allant de 1991 à 1996, d'une part, et de 1997 à 2002, d'autre part; il en va de même pour l'impôt cantonal et communal (ICC) des périodes comprises entre 1999 et 2002. Le 14 mars 2003, l'Administration cantonale a rejeté la réclamation formée par le recourant concernant l'IFD des trois périodes comprises entre 1991 et 1996; le 25 novembre 2005, elle a rejeté les réclamations portant sur l'IFD des trois périodes allant de 1997 à 2002, ainsi que sur l'ICC des deux périodes comprises entre 1999 et 2002. Par arrêt du 14 juin 2007, le Tribunal administratif du canton de Vaud (devenu par la suite la Cour de droit administratif et public du Tribunal cantonal; ci-après: le Tribunal cantonal) a joint les causes concernant les deux réclamations précitées et a admis partiellement le recours interjeté par X._, au sujet de reprises fiscales relatives à un prêt. Il a annulé la décision sur réclamation du 25 novembre 2005 et a renvoyé la cause à l'Administration cantonale pour qu'elle statue à nouveau sur les reprises et les amendes sans tenir compte de ce prêt. A.c Le 10 juillet 2007, l'Administration cantonale a rendu une nouvelle décision, admettant partiellement la réclamation et déterminant à nouveau le revenu et la fortune imposables du recourant, tant en matière d'ICC que d'IFD, pour les périodes considérées. Elle a fixé une nouvelle fois les amendes, mais uniquement dans les motifs et non dans le dispositif de sa décision. X._ n'a pas recouru contre cette décision dans le délai légal, mais a contesté ultérieurement le plan de recouvrement du montant à payer. L'Administration cantonale, par décision du 27 novembre 2007, a traité cette contestation comme une réclamation et l'a déclarée irrecevable au motif que sa décision précitée du 10 juillet 2007 était entrée en force. Par arrêt du 10 juin 2008, le Tribunal cantonal a admis le recours formé par X._ contre la décision du 27 novembre 2007, l'a annulée et a renvoyé la cause à l'Administration cantonale pour nouvelle décision. Il a enjoint à l'autorité de statuer sur les amendes qui n'avaient pas été formellement arrêtées dans le dispositif de la décision du 10 juillet 2007. Cet arrêt est entré en force. B. Le 3 novembre 2008, l'Administration cantonale a admis partiellement la réclamation concernant les amendes et a fixé celles-ci à 21'400 fr. pour l'IFD 1997-1998, à 110'800 fr. pour l'ICC 2001-2002 et à 33'100 fr. pour l'IFD 2001-2002. Par arrêt du 30 juin 2009, le Tribunal cantonal a rejeté le recours déposé par X._ et a confirmé la décision du 3 novembre 2008. Les juges ont retenu en substance que le contribuable avait sciemment omis de mentionner dans ses déclarations d'impôt litigieuses des éléments de revenu et de fortune. Ainsi, alors qu'il savait pertinemment qu'il était le détenteur de la société Z._ Holding SA, il n'en avait volontairement pas déclaré la totalité des actions. Ces éléments ont fait l'objet des reprises à l'origine des amendes contestées. Comme les taxations relatives aux périodes fiscales en cause n'étaient pas entrées en force au moment où l'infraction de soustraction avait été découverte, il n'y avait que tentative. Le courrier produit par le recourant et daté du 15 août 2003, qui contenait une liste des éléments de revenu et de fortune ayant fait l'objet d'un rappel d'impôt pour les années 1991 à 1996, dont le recourant précisait qu'il contestait l'attribution dans son revenu et sa fortune, n'était pas propre à démontrer l'absence de tentative de soustraction ni ne pouvait être tenu pour une dénonciation spontanée. En outre, les amendes, fixées à deux tiers des montants soustraits, étaient justifiées compte tenu de la situation de l'auteur de l'infraction. C. Contre l'arrêt du 30 juin 2009, X._ interjette un recours en matière de droit public au Tribunal fédéral. Il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué et à ce qu'aucune amende ne soit prononcée à son encontre pour les périodes fiscales 1997-1998 et 2001-2002, subsidiairement à ce que la cause soit renvoyée à l'autorité inférieure pour nouvelle décision. L'effet suspensif requis à titre préalable par X._ a été refusé par ordonnance du Président de la IIe Cour de droit public du 7 août 2009. Le Tribunal cantonal n'a pas présenté d'observations, se référant à son arrêt, à l'instar de l'Administration cantonale, qui renvoie également à sa décision du 3 novembre 2008 et à ses déterminations de première instance du 28 janvier 2009. L'Administration fédérale des contributions ne s'est pas prononcée dans le délai imparti à cet effet. 