Faits : A. A.A._ et son épouse B.A._ étaient domiciliés dans le canton du Valais jusqu'à la fin de l'année 2003. Ils étaient assujettis de manière limitée dans le canton de Vaud en raison de la détention d'un immeuble par B.A._ à V._. Par décision du 13 mars 2006, l'Administration cantonale des impôts du canton de Vaud a fixé le domicile fiscal des époux sur cette dernière commune pour la période fiscale 2004. Cette décision n'a fait l'objet d'aucun recours. Dans une correspondance du 12 avril 2012, les autorités fiscales valaisannes ont confirmé à l'Administration cantonale des impôts du canton de Vaud que A.A._ n'était plus assujetti à l'impôt en Valais depuis le 1er janvier 2004 et qu'au vu des éléments en sa possession, il n'apparaissait pas qu'il devait l'être à nouveau. A.A._ exploite une fiduciaire en raison individuelle, dont l'adresse, selon l'inscription au Registre du commerce, est à la rue du W._ à X._. Il est l'administrateur de la société C._ SA, anciennement dénommée D._ SA, qui a pour but le conseil et les services à d'autres entreprises. Cette société, dont le siège est à Y._, dispose d'une succursale à X._. A.A._ était également l'administrateur au moment des périodes fiscales litigieuses de la société E._ AG, dénommée jusqu'en 1999 F._ AG. Déclarée en faillite le 3 janvier 2007, cette société a été radiée le 27 novembre 2012. Enfin, l'intéressé était aussi l'administrateur de la société G._ SA, à Z._, qui avait pour but la maintenance de lignes électriques et téléphoniques. Cette société a été radiée en 2008, à la suite de sa fusion avec la société C._ SA. G._ SA était détenue entièrement par H._, qui en a vendu l'intégralité du capital-actions à A.A._ le 3 octobre 1997 pour le prix de 2'000'000 fr. La Banque I._ a financé l'achat de A.A._ en accordant à la société F._ AG (devenue E._ AG en 1999) un crédit garanti par un cautionnement personnel et la remise en nantissement des actions de G._ SA auprès de la banque. Un premier acompte de 500'000 fr. a été versé au vendeur. A.A._ ne s'est pas acquitté de l'acompte suivant d'un montant de 300'000 fr. et a succombé aux procédures de recouvrement introduites à son égard par H._. Sur les comptes 2001 à 2003 de E._ AG, la participation G._ SA est activée pour 2'000'000 fr. et une provision de 1'500'000 fr. a été constituée à charge de l'exercice 2002. A partir de 2004, A.A._ a comptabilisé dans les comptes de sa raison individuelle une provision de 500'000 fr. (mention " litige H._ "). Ni la participation dans G._ SA ni celle dans E._ AG ne figurent au bilan de la raison individuelle. A.A._ a augmenté de 500'000 fr. la provision figurant à son bilan au cours des exercices 2005 à 2007, portant son montant total à 2'000'000 fr. au 31 décembre 2007. Le 16 septembre 2005, les époux A._ ont déposé leur déclaration d'impôt pour la période fiscale 2004 dans le canton du Valais. Ils ont annoncé un revenu et une fortune imposables nuls. A la suite de la décision de l'Administration cantonale des impôts du 13 mars 2006 fixant le domicile fiscal des époux A.A._ à V._ (cf. ch. 1 ci-dessus), ces derniers ont reçu une déclaration d'impôt vaudoise pour la période fiscale 2004. Ils l'ont retournée en février 2006, en y joignant la déclaration d'impôt déposée dans le canton du Valais. Les époux A._ ont rempli pour la période fiscale 2005 une déclaration d'impôt en Valais qu'ils ont signée le 17 novembre 2006. Cette déclaration a été remise par les autorités valaisannes aux autorités fiscales vaudoises en janvier 2007. B. Par décision de taxation du 19 octobre 2009, l'Administration cantonale des impôts a fixé le revenu imposable 2004 des époux A._ à 136'000 fr. au taux de 66'400 fr. (quotient familial: 2.8) et la fortune imposable à 662'000 fr. au taux de 667'000 francs. L'Administration cantonale des impôts a refusé de tenir compte de la provision de 500'000 fr. dans les comptes de la raison individuelle. Par décision de taxation du même jour, l'Administration cantonale des impôts a fixé le revenu imposable 2005 à 136'600 fr. au taux de 59'300 fr. (quotient familial: 2.3) et la fortune imposable à 0 franc. La même reprise que sur la période 2004 a été effectuée. En raison d'une erreur de maniement de logiciel, les décisions du 19 octobre 2009 ont généré l'envoi de décisions ultérieures, le 23 octobre 2009, pour les mêmes périodes de taxation (2004 et 2005). Lors de son envoi du 19 octobre 2009, l'Administration cantonale des impôts a expressément invité les contribuables à ne pas tenir compte des nouvelles décisions qu'ils devraient recevoir quelques jours plus tard et portant la date du 23 octobre 2009. Le 20 novembre 2009, A.A._ a formé réclamation contre les décisions de taxation 2004 et 2005 concernant le couple. Il a produit une photocopie d'une enveloppe postée en recommandé le 19 octobre 2009 et reçue le 21 octobre 2009 et précisé que sa réclamation portait sur les décisions de taxation des 19 et 23 octobre 2009, soit au total quatre décisions, en ces termes: " Concerne: décisions de taxation 2004 et 2005 Monsieur et Madame A.A._ et B.A._ Madame, Monsieur, La présente réclamation est dirigée contre les décisions de taxation en matière d'ICC et d'IFD datées des 19 et 23 octobre 2009, soit au total 4 décisions. La présente intervient dans les 30 jours dès la notification des décisions litigieuses (preuve: annexe 1), elle est donc recevable quant à sa forme. ... " Le divorce des époux A._ a été prononcé en octobre 2006. A.A._ n'a pas déposé de déclaration d'impôt dans le canton de Vaud pour la période fiscale 2006, arguant du fait qu'il n'y était pas assujetti à l'impôt. Une copie de sa déclaration d'impôt déposée en Valais pour la période fiscale 2006 a été remise aux autorités fiscales vaudoises. Le 23 octobre 2009, l'autorité fiscale vaudoise a rendu une décision de taxation pour la période fiscale 2006 à l'encontre de A.A._, fixant son revenu et sa fortune imposables à zéro. La provision de 500'000 fr. a été refusée. Toutefois, dans la mesure où la perte de l'exercice était supérieure à cette reprise, le revenu imposable était nul. A.A._ n'a pas non plus déposé de déclaration d'impôt dans le canton de Vaud pour la période fiscale 2007. Par décision de taxation du 23 octobre 2009, l'autorité fiscale a fixé son revenu imposable 2007 à 108'100 fr. et sa fortune imposable 2007 à zéro franc. Elle a refusé la provision de 500'000 francs. Par lettre du 26 janvier 2010, A.A._ a indiqué à l'Administration cantonale des impôts que sa réclamation du 20 novembre 2009 concernait également les décisions de taxation relatives aux périodes fiscales 2006 et 2007. Le 12 mars 2010, l'Administration cantonale des impôts lui a répondu que, considéré comme une réclamation concernant les périodes fiscales 2006 et 2007, son courrier du 26 janvier 2010 était hors délai et que les conditions d'une restitution du délai n'étaient pas réunies. Par décision sur réclamation du 18 juin 2013, l'Administration cantonale des impôts a modifié la décision de taxation du 19 octobre 2009 en ce qu'elle concernait la période fiscale 2004 uniquement pour la fortune en ce sens que le bénéfice imposable était arrêté à 186'100 fr. au taux de 66'400 fr., la fortune imposable étant nulle. Elle a rejeté la réclamation du 19 octobre 2009 en ce qu'elle concernait la période fiscale 2005 et l'a déclarée irrecevable en ce qu'elle portait sur les périodes fiscales 2006 et 2007. C. Le 12 juillet 2013, A.A._ a recouru contre la décision du 18 juin 2013 auprès du Tribunal cantonal du canton de Vaud. Il a contesté avoir un domicile fiscal dans le canton de Vaud pour les périodes fiscales 2004 à 2007. Il a fait valoir que le droit de taxer du Canton de Vaud était prescrit. Il a demandé que la provision pour litige soit considérée comme charge justifiée par l'usage commercial. Il a requis l'audition de deux témoins. D. Par arrêt du 12 décembre 2013, le Tribunal cantonal du canton de Vaud a rejeté le recours. Il a jugé qu'il n'était pas nécessaire d'entendre les deux témoins proposés. Il a confirmé que la réclamation du 20 novembre 2009 ne concernait que les décisions de taxation des périodes fiscales 2004 et 2005 et que la réclamation du 26 janvier 2010 interjetée contre les décisions de taxation pour les périodes fiscales 2006 et 2007 était tardive et irrecevable. Il a établi que le domicile fiscal de l'intéressé se trouvait dans le canton de Vaud durant l'année 2005. Il a jugé que la provision pour litige ne revêtait pas de justification commerciale parce que l'intéressé n'était pas titulaire de la participation dans la société G._ SA et cette participation ne pouvait par conséquent pas appartenir à la fortune commerciale de la raison individuelle. E. Par courrier du 13 janvier 2014, A.A._ demande au moins implicitement au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt rendu le 12 décembre 2013 par le Tribunal cantonal du canton de Vaud. Il se plaint de la constatation inexacte des faits, de la violation de son droit d'être entendu, de la violation des règles relatives à la " péremption " du droit de taxer et de celles relatives aux provisions pour litiges. Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues, le Tribunal fédéral a enregistré le recours sous les numéros d'ordre 2C_34/2014 pour l'impôt cantonal et communal et 2C_35/2014 pour l'impôt fédéral direct. Le Tribunal cantonal se réfère à son arrêt. L'Administration fédérale des contributions précise qu'il n'existe aucun litige de souveraineté fiscale entre le canton de Vaud et celui du Valais à propos de A.A._ et conclut au rejet du recours. 