Faits: A. Les époux A._ et B._ sont domiciliés à Lausanne. Pour la période fiscale 1995-1996, ils ont déclaré un revenu et une fortune imposables de respectivement 40'200 fr. et 0 fr. L'impôt fédéral direct était de 222 fr. pour 1995 et du même montant pour 1996. L'impôt cantonal et communal sur le revenu se montait à 3'138 fr. 25 pour chaque année de ladite période fiscale. Concernant les périodes fiscales 1997-1998, 1999-2000 et 2001-2002, leurs déclarations d'impôt montraient un revenu et une fortune imposables nuls. Des décisions de taxation définitives leur ont été notifiées pour ces périodes, tant pour l'impôt fédéral direct que pour les impôts cantonal et communal. Aucun impôt n'était dû. B. Le 12 mars 2002, l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale des impôts) a informé les époux A._ et B._ qu'elle ouvrait à leur encontre une procédure de rappel et de soustraction d'impôt pour les périodes 1995-1996 à 2001-2002 s'agissant de l'impôt fédéral direct et des impôts cantonal et communal. Constatant que A._ n'avait pas déclaré, notamment, des revenus provenant d'une activité lucrative indépendante, l'Administration cantonale des impôts, par décision du 10 septembre 2004, a procédé à différentes reprises pour parvenir aux résultats suivants pour l'impôt fédéral direct: Période fiscale Revenu imposable (fr.) Rappel (fr.) Amende (fr.) 1995-1996 67'200 1'816 1'800 1997-1998 41'800 408 400 1999-2000 43'700 456 400 2001-2002 115'400 8'546 8'500 Concernant l'impôt cantonal et communal les reprises ont abouti aux rappels et amendes suivants: Période fiscale Revenu imposable (fr.) Rappel (fr.): impôt cantonal et communal sur le revenu | sur la fortune Amende (fr.) (impôt cantonal et communal) 1995-1996 prescrit prescrit prescrit 1997-1998 29'600 6'487.10 1'041.20 7'500 1999-2000 36'300 8'646.20 1'017.80 9'600 2001-2002 116'000 42'376.50 747.70 43'100 Le 2 décembre 2004, l'Administration cantonale des contributions a rejeté la réclamation des époux A._ et B._. Ceux-ci ont attaqué la décision sur réclamation devant le Tribunal administratif du canton de Vaud (ci-après: le Tribunal administratif). Ledit Tribunal a rendu un arrêt partiel le 21 juin 2005 portant uniquement sur les rappels d'impôts. Il a rejeté le recours en ce qui concernait l'impôt fédéral direct et l'impôt cantonal et communal sur le revenu. Il l'a par contre admis en tant qu'il avait trait à l'impôt cantonal et communal sur la fortune, renvoyant la cause à l'autorité de taxation "pour instruction et nouvelle décision". Par arrêt du 8 août 2005 (2A.463/2005), le Tribunal fédéral a rejeté le recours de A._ dans la mesure où il était recevable selon la procédure de l'art. 36a OJ. Le 1er juillet 2005, l'Administration cantonale des impôts a renoncé à procéder à tous rappels relatifs à la fortune des époux A._ et B._ et a modifié les amendes prononcées le 2 septembre en conséquence, qui ont été fixées uniquement en fonction des impôts sur le revenu soustraits: Période fiscale Amende (fr.) Impôt fédéral direct Amende (fr.) Impôt cantonal et communal 1995-1996 1'800 prescrit 1997-1998 400 6'500 1999-2000 400 8'600 2001-2002 8'500 42'400 Les recourants ayant maintenu leur recours contre de la décision de l'Administration cantonale des contributions du 2 décembre 2004 telle que modifiée le 1er juillet 2005, le Tribunal administratif l'a rejeté par arrêt du 12 juillet 2006. Il a retenu en substance que le recourant avait travaillé en tant qu'indépendant dans l'entretien d'immeubles, lors des périodes concernées, pour diverses sociétés et des particuliers et qu'il n'avait pas déclaré les revenus touchés pour cette activité. Les conditions objectives et subjective de la soustraction fiscale étaient remplies et une amende d'une fois le montant d'impôt soustrait était proportionnée à la faute commise, tant pour l'impôt fédéral direct que pour les impôts cantonal et communal des périodes fiscales en cause. C. Déposant un recours auprès du Tribunal fédéral, sans préciser de quel type de recours il s'agit, A._ conclut à l'annulation de l'arrêt susmentionné du Tribunal administratif. Il estime qu'il n'a pas commis de faute justifiant une amende pour soustraction d'impôt. Il demande l'assistance judiciaire. Le Tribunal administratif se réfère à son arrêt et conclut au rejet du recours. L'Administration cantonale des impôts et l'Administration fédérale des contributions concluent, sous suite de frais, au rejet du recours. 