Faits: A. X._ exploite le cabinet fiduciaire « X._ SA », à A._ (VD). Pendant de nombreuses années, il a été réviseur et représentant de la société B._ SA (en abrégé: la société), entreprise générale de maçonnerie, à C._, dont B._ était administrateur-président. A.a Dans le cadre de la procédure en soustraction fiscale ouverte pour les périodes 1995 à 1999 par l'Administration cantonale vaudoise des impôts (en abrégé: l'Administration cantonale), le 28 mars 2000, X._ a informé l'Administration cantonale que son client était parti définitivement à l'étranger sans lui remettre les documents requis et que la société B._ SA avait cessé toute activité au 31 décembre 2001. Le 27 juin 2003, l'Administration cantonale des impôts a notifié à la société, ainsi qu'à son représentant, une décision de rappel d'impôt et de taxation définitive dans laquelle elle avait procédé à diverses reprises pour les années de référence ou de calcul 1993 à 2000, pour un total de 930'980 fr., ce qui portait les compléments d'impôts à payer à 295'622 fr. 45 pour les impôts cantonal et communal et à 75'818 fr. 85 pour l'impôt fédéral direct, durant les périodes fiscales 1995 à 2000. Les amendes pour soustraction et tentative de soustraction fiscale durant les mêmes périodes s'élevaient en outre à 72'550 fr. pour les impôts cantonal et communal et à 88'700 fr. pour l'impôt fédéral direct. Elle a ensuite ouvert, le 15 décembre 2003, une procédure pour participation à une soustraction d'impôt à l'encontre de X._. Elle lui reprochait d'avoir comptabilisé pour plus de 900'000 fr. de charges non justifiées par l'usage commercial durant les exercices 1995 à 2000, d'avoir attesté, en tant que réviseur, que la comptabilité et les comptes de la société étaient conformes à la loi et d'avoir omis de déclarer plus de 900'000 fr. à titre de bénéfice de la société et de distributions dissimulées en faveur de l'actionnaire dans les déclarations d'impôt de la société et des époux B._. Elle précisait enfin qu'en vertu des dispositions légales applicables, il répondait solidairement du paiement de l'impôt. A.b Le 30 novembre 2007, l'Administration cantonale des impôts a notifié à X._ un prononcé d'amendes pour participation à une soustraction fiscale, soit 31'000 fr. pour les impôts cantonaux et communaux et 36'000 fr. pour l'impôt fédéral direct. Elle a également notifié une décision d'appel en solidarité pour les compléments d'impôt fédéral direct dus par la société pour les années 1995 à 2000, soit 75'818 fr. 85 et par les époux B._ pour les années 1997 à 2001, soit 67'768 fr 80, ainsi que pour les impôts cantonal et communal dus par les époux B._ en 2001, soit 87'507 fr. 35. Après avoir instruit la réclamation déposée par X._, l'Administration fiscale cantonale, statuant aussi en tant qu'Administration cantonale de l'impôt fédéral direct, a admis celle-ci partiellement, par décisions du 25 mars 2009. Confirmant que X._ avait agi intentionnellement et non par négligence, elle a toutefois tenu compte de la prescription et a réduit le montant de l'amende dû pour l'impôt fédéral direct à 27'400 fr. et celui dû pour les impôts cantonaux et communaux à 19'600 fr. Les compléments d'impôts à payer en matière d'impôt fédéral direct ont également été réduits à 70'937 fr. 85 pour la société et à 62'883 fr. 25 pour les époux B._; quant aux impôts cantonal et communal dus par ces derniers en 2001, ils ont été fixés à 80'921 fr. 70. A.c Le 27 avril 2009, X._ a recouru auprès du Tribunal cantonal du canton de Vaud à l'encontre des décisions du 25 mars 2009, en concluant principalement à l'annulation des amendes pour défaut de participation aux infractions qu'auraient pu commettre les contribuables principaux et au refus de l'appel en solidarité. Il a été entendu par la juridiction cantonale le 15 avril 2010. Par arrêt du 22 avril 2010, le Tribunal cantonal a admis le recours, tant en matière d'impôt fédéral direct, qu'en ce qui concerne les impôts cantonal et communal, et a annulé les décisions sur réclamation du 25 mars 2009 relatives à ces impôts. Il a retenu en bref qu'il ressortait de la décision de rappel d'impôt du 27 juin 2003, devenue exécutoire et définitive, que le contribuable principal, parti sans laisser d'adresse en cours de procédure, avait violé de manière fautive son obligation de collaborer à la taxation. En comptabilisant des charges sans requérir les justificatifs correspondants, X._ avait certes gravement violé les dispositions du droit comptable (art. 662a et 663 CO), mais rien ne permettait d'établir que le recourant avait eu l'intention de soustraire des impôts au sens des art. 177 de la loi fédérale sur l'impôt fédéral direct (LIFD; RS 642.11) et 244 de la loi vaudoise sur les impôts cantonaux du 4 juillet 2000 (LI; RSVD 642.11) ou qu'il avait agi d'entente avec le contribuable principal, de sorte que les conditions de la participation à la soustraction fiscale n'étaient pas réalisées. A.d Statuant sur le recours de l'Administration cantonale des impôts dans son arrêt du 4 novembre 2010 (2C_447/2010), le Tribunal fédéral a admis partiellement celui-ci en ce qui concernait l'impôt fédéral direct et l'a rejeté en ce qui concernait les impôts cantonal et communal. Il a ainsi annulé l'arrêt attaqué dans la mesure où il portait sur l'impôt fédéral direct des périodes fiscales 1995 à 2000 et renvoyé la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants, en précisant qu'il appartiendrait à ce dernier de statuer à nouveau sur les frais de la procédure cantonale. Le Tribunal fédéral a retenu en bref que la participation de X._ à des soustractions fiscales consommées devait être reconnue pour les périodes fiscales 1995 à 2000 et qu'il appartenait à la juridiction cantonale d'examiner les conséquences pénales et fiscales de cette participation prévue par l'art. 177 LIFD. Le recours devait en revanche être rejeté dans la mesure où il portait sur la période fiscale 2001-2002, tant en ce qui concernait l'impôt fédéral que les impôts cantonaux et communaux. Cet arrêt a été notifié aux parties le 2 décembre 2010. B. Le 29 décembre 2010, le Juge instructeur du Tribunal cantonal a communiqué à X._ personnellement et à l'Administration cantonale la composition de la Cour, soit la même que celle ayant statué dans l'arrêt précédent du 22 avril 2010, mais sans la greffière. Par arrêt du 17 janvier 2011, le Tribunal cantonal a admis le recours du 27 avril 2009 en tant qu'il concernait l'impôt cantonal et communal et annulé la décision sur réclamation du 25 mars 2009 dans cette mesure. En tant qu'il concernait l'impôt fédéral direct, il a admis partiellement le recours du 27 avril 2009 et réformé la décision sur réclamation en ce sens que X._ était reconnu solidairement responsable du montant de l'impôt fédéral direct durant les périodes fiscales 1996 à 2000, soit 98'116 fr. (69'249 fr. 95 pour la société et 28'866 fr. 25 pour les époux B._). Le montant total de l'amende relative à l'impôt fédéral direct a été fixé à 22'000 fr. La juridiction cantonale a également mis un émolument de 3'500 fr. à la charge de X._ et ne lui a pas alloué de dépens. Dans une lettre du 8 février 2011 adressée au Tribunal cantonal, le mandataire de X._, qui avait déjà représenté ce dernier dans la procédure cantonale précédente et devant le Tribunal fédéral, s'est plaint du fait que l'arrêt avait été notifié personnellement à son client, plutôt qu'à son étude. Partant, le Tribunal cantonal a notifié aux parties un nouvel arrêt, daté du 9 février 2011, avec la mention "remplace et annule l'arrêt notifié le 17 janvier 2011". C. Agissant par la voie du recours en matière de droit public auprès du Tribunal fédéral , X._ conclut, avec dépens: "Principalement: L'arrêt rendu le 9 février 2011 par la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud est annulé, la cause étant renvoyée à cette autorité pour qu'elle prenne une nouvelle décision après avoir permis au recourant de se déterminer oralement au cours d'une audience à appointer. Des dépens à dire de Justice mais s'élevant au moins à Fr. 2'500.- sont alloués au recourant en instance cantonale. Subsidiairement: L'arrêt rendu le 9 février 2011 par la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud est réformé dans le sens que l'assiette de l'impôt fédéral direct dont le recourant est reconnu responsable solidaire est réduite pour tenir compte de la déduction du surplus d'impôts découlant des reprises entreprise(s) et les amendes sont réduites selon ce que Justice dira, mais au minimum réduite de deux tiers du montant ressortant de l'arrêt entrepris. Des dépens à dire de Justice mais s'élevant au moins à Fr. 2'500.- sont alloués au recourant en instance cantonale. " Le Tribunal cantonal se réfère à son arrêt. L'Administration cantonale des impôts a renoncé à se déterminer sur les griefs tirés de la violation du droit d'être entendu et a présenté des observations sur le fond, au terme desquelles elle conclut au rejet du recours dans la mesure où il est recevable. L'Administration fédérale des contributions s'est déterminée sur la quotité de l'amende et s'est ralliée, pour le surplus, aux observations de l'Administration cantonale et à l'arrêt attaqué. Elle propose dès lors de rejeter le recours. Le recourant a pu se déterminer sur ces écritures et a maintenu ses conclusions. 