Faits: A. X._ exploite le cabinet fiduciaire « X._ SA », à A._. Pendant de nombreuses années, il a été réviseur et représentant de la société B._ SA (en abrégé: la société), entreprise générale de maçonnerie, à C._, dont B._ était administrateur-président. Il a notamment représenté la société durant toute la procédure de soustraction d'impôt ouverte en mai 1992 qui, selon l'arrêt du Tribunal administratif du canton de Vaud du 13 mars 1996, a révélé un bénéfice de 50'000 fr. soustrait pour la société et un revenu non déclaré de 86'000 fr. pour les époux B._. Le 28 mars 2000, l'Administration cantonale vaudoise des impôts a ouvert une nouvelle procédure en soustraction fiscale pour les périodes 1995 à 1999, à la suite des informations reçues par le Service de l'emploi, selon lesquelles la société avait engagé du personnel étranger sans permis de séjour. Par requête du 11 octobre 2001, renouvelée le 11 novembre, elle a demandé à la société de produire plusieurs documents, afin de pouvoir clôturer son enquête. X._ a sollicité une prolongation au 30 janvier 2002 de ce délai. Le 8 février 2002, il a informé l'Administration cantonale des impôts que son client était parti définitivement à l'étranger sans lui remettre les documents requis et que la société B._ SA avait cessé toute activité au 31 décembre 2001. Le 27 juin 2003, l'Administration cantonale des impôts a notifié à la société, ainsi qu'à son représentant, une décision de rappel d'impôt et de taxation définitive dans laquelle elle avait procédé à diverses reprises pour les années de référence ou de calcul 1993 à 2000, pour un total de 930'980 fr., ce qui portait les compléments d'impôts à payer à 295'622 fr. 45 pour les impôts cantonal et communal et à 75'818 fr. 85 pour l'impôt fédéral direct, durant les périodes fiscales 1995 à 2000. Les amendes pour soustraction et tentative de soustraction fiscale durant les mêmes périodes s'élevaient en outre à 72'550 fr. pour les impôts cantonal et communal et à 88'700 fr. pour l'impôt fédéral direct. Le 22 août 2003, l'Office d'impôt des personnes morales du canton de Vaud a notifié à la société, à l'adresse de son représentant, les bordereaux complémentaires correspondant aux montants susmentionnés. X._ a informé l'Administration cantonale des impôts, le 28 août 2003, que son client avait quitté la Suisse sans avis préalable et sans laisser d'adresse. Considérant qu'il n'était plus le représentant de la société, il a retourné les bordereaux d'impôts concernant B._ SA. B. Le 15 décembre 2003, l'Administration cantonale des impôts a ouvert une procédure pour participation à une soustraction d'impôt à l'encontre de X._. Elle lui reprochait d'avoir comptabilisé pour plus de 900'000 fr. de charges non justifiées par l'usage commercial durant les exercices 1995 à 2000, d'avoir attesté, en tant que réviseur, que la comptabilité et les comptes de la société étaient conformes à la loi et d'avoir omis de déclarer plus de 900'000 fr. à titre de bénéfice de la société et de distributions dissimulées en faveur de l'actionnaire dans les déclarations d'impôt de la société et des époux B._. Elle précisait en outre qu'en vertu des dispositions légales applicables, il répondait solidairement du paiement de l'impôt. L'Office d'impôt des personnes morales a engagé une poursuite à l'encontre de la société qui s'est terminée par un acte de défaut de biens s'élevant respectivement à 79'580 fr. 85 pour l'impôt fédéral direct et à 309'889 fr. 85 pour les impôts cantonal et communal. Le 30 novembre 2007, l'Administration cantonale des impôts a notifié à X._ un prononcé d'amendes pour participation à une soustraction fiscale, soit 31'000 fr. pour les impôts cantonaux et communaux et 36'000 fr. pour l'impôt fédéral direct. Elle a également notifié une décision d'appel en solidarité pour les compléments d'impôt fédéral direct dus par la société pour les années 1995 à 2000, soit 75'818 fr. 85 et par les époux B._ pour les années 1997 à 2001, soit 67'768 fr. 80, ainsi que pour les impôts cantonal et communal dus par les époux B._ en 2001, soit 87'507 fr. 35. Après avoir instruit la réclamation déposée par X._, l'Administration fiscale cantonale, statuant aussi en tant qu'Administration cantonale de l'impôt fédéral direct, a admis celle-ci partiellement, par décisions du 25 mars 2009. Confirmant que X._ avait agi intentionnellement et non par négligence, elle a toutefois tenu compte de la prescription et a réduit le montant de l'amende dû pour l'impôt fédéral direct à 27'400 fr. et celui dû pour les impôts cantonaux et communaux à 19'600 fr. Les compléments d'impôts à payer en matière d'impôt fédéral direct ont également été réduits à 70'937 fr. 85 pour la société et à 62'883 fr. 25 pour les époux B._; quant aux impôts cantonal et communal dus par ces derniers, ils ont été fixés à 80'921 fr. 70. C. X._ a recouru auprès du Tribunal cantonal du canton de Vaud à l'encontre des décisions du 25 mars 2009, en concluant principalement à l'annulation des amendes pour défaut de participation aux infractions qu'auraient pu commettre les contribuables principaux et au refus de l'appel en solidarité. Il a été entendu par la juridiction cantonale le 15 avril 2010. Par arrêt du 22 avril 2010, le Tribunal cantonal a admis le recours, tant en matière d'impôt fédéral direct, qu'en ce qui concerne les impôts cantonal et communal, et a annulé les décisions sur réclamation du 25 mars 2009 relatives à ces impôts. Il a retenu en bref qu'il ressortait de la décision de rappel d'impôt du 27 juin 2003, devenue exécutoire et définitive, que le contribuable principal, parti sans laisser d'adresse en cours de procédure, avait violé de manière fautive son obligation de collaborer à la taxation et de renseigner l'autorité fiscale sur les montants qu'il avait comptabilisés sans justificatifs. En ce qui concerne le recourant, la juridiction cantonale a considéré qu'en comptabilisant des charges sans requérir les justificatifs correspondants, il avait gravement violé les dispositions du droit comptable (art. 662a et 663 CO). Cette omission relevait certes d'une grave négligence, mais rien ne permettait d'établir que le recourant avait eu l'intention de soustraire des impôts au sens des art. 177 de la loi fédérale sur l'impôt fédéral direct (LIFD; RS 642.11) et 244 de la loi vaudoise sur les impôts cantonaux du 4 juillet 2000 (LI; RSVD 642.11) ou qu'il avait agi d'entente avec le contribuable principal, de sorte que les conditions de la participation à la soustraction fiscale n'étaient pas réalisées. D. L'Administration cantonale des impôts, agissant également en qualité d'Administration cantonale de l'impôt fédéral direct, forme un recours en matière de droit public auprès du Tribunal fédéral et conclut, avec suite de frais, à l'annulation de l'arrêt du 22 avril 2010, X._ étant reconnu « coupable de l'infraction de participation aux soustractions d'impôt commises, respectivement tentées, par la société B._ SA en matière d'impôt fédéral direct sur le bénéfice dans les périodes fiscales 1995 à 2000 et par M. et Mme B._ en matière d'impôt fédéral direct sur le revenu dans les périodes fiscales 1997-1998 à 2001-2002 ainsi qu'en matière d'impôt(s) cantonal et communal sur le revenu dans la période fiscale 2001-2002 ». Partant, elle demande que la cause soit renvoyée au Tribunal cantonal (Cour de droit public et administratif) pour qu'il fixe le montant des amendes et celui des impôts soustraits dont l'intimé répond solidairement. X._ (ci-après : l'intimé) conclut, avec dépens, au rejet du recours dans la mesure où il est recevable. Le Tribunal cantonal a renoncé à se déterminer sur le recours. Sans présenter d'observations, l'Administration fédérale des contributions se rallie entièrement aux conclusions du recours. 