Faits: A. A.X._ et B.X._ habitent dans une villa qui leur appartient et qui est située au chemin de C._ n° **, à D._. Dans leur déclaration d'impôt 2006, ils sont arrivés à un revenu imposable de 172'000 fr., en faisant notamment valoir une déduction de 10% de la valeur locative de cet immeuble, au titre d'un environnement défavorable. Le 13 août 2008, l'Office d'impôt du district de Lavaux-Oron a refusé d'admettre la déduction revendiquée et fixé leur revenu imposable à 174'200 fr. en matière d'impôts cantonal et communal et à 177'300 fr. en matière d'impôt fédéral direct, la valeur locative déterminante de la villa de D._ étant établie à 20'378,65 fr. Les époux X._ ayant déposé une réclamation, l'Office d'impôt des districts de Lausanne et de l'Ouest lausannois leur a adressé, le 4 mars 2009, une nouvelle détermination des éléments imposables, corrigeant à la hausse les estimations fiscales et maintenant le refus de réduction pour environnement défavorable. Les contribuables ayant confirmé leur réclamation, celle-ci a été transmise à l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale) qui l'a rejetée le 21 avril 2010. B. Par arrêt du 21 octobre 2010, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours formé par A.X._ contre la décision de l'Administration cantonale du 21 avril 2010 et confirmé ladite décision. Le Tribunal cantonal a notamment considéré que la proximité d'une route passante ne constituait pas, à elle seule, un environnement particulièrement défavorable. C. Le 15 novembre 2010, A.X._ a déposé un recours au Tribunal fédéral à l'encontre de l'arrêt du Tribunal cantonal du 21 octobre 2010. Il conclut à l'annulation de l'arrêt attaqué et à la reconnaissance d'un environnement défavorable. Le Tribunal cantonal, l'Administration cantonale et l'Administration fédérale des contributions (ci-après: l'AFC) concluent au rejet du recours, la dernière de ces autorités avec suite de frais. 