Faits: A. Feue F._ était propriétaire des parcelles nos ** et ** sises en zone de village sur le territoire de la commune de G._. A son décès, en 2000, D._, B.X._, C.X._, E._ et A.X._ sont devenus propriétaires indivis de ces deux parcelles. Par contrat de cession de droits successifs du 2 juillet 2001, A.X._ a racheté aux autres membres de l'hoirie les quatre cinquièmes de la propriété des parcelles susmentionnées pour un prix de 200'000 fr. Il en est ainsi devenu seul propriétaire. Le 2 mai 2002, A.X._ a encore acquis la parcelle no ** de la commune de G._, également située en zone de village, pour un prix de 16'500 fr. Le 19 juillet 2005, A.X._ et son épouse H.X._ ont acquis chacun pour une moitié les parcelles nos *** et *** de la commune de G._, sises en zone agricole, au prix de 202'700 fr. Le 22 février 2006, les époux X._ ont conclu un contrat de vente à terme conditionnelle et droit d'emption portant sur les parcelles nos **, ** et ** de la commune de G._ pour un prix global de 625'000 fr. La réquisition de transfert immobilier a eu lieu le 11 juillet 2006. Dans sa déclaration d'impôt pour l'imposition des gains immobiliers du 31 octobre 2006, A.X._ a indiqué que les immeubles nos **, ** et ** avaient été affectés à son domicile principal du 2 juillet 2001 au 11 juillet 2006, en faisant partie de sa fortune privée. Il a en outre allégué avoir réinvesti le produit de la vente dans la construction d'un rural et d'une maison d'habitation sur la parcelle no *** pour un montant de 1'074'688 fr. Par décision du 12 décembre 2007, l'Office d'impôt de Nyon a retenu un gain immobilier de 537'000 fr. correspondant à un impôt de 37'590 fr. Il a par ailleurs décidé que l'imposition ne pouvait être reportée comme le demandait le contribuable. B. Sur réclamation de A.X._, l'Office d'impôt a établi un bordereau rectificatif fixant le gain immobilier imposable à 500'000 fr. A.X._ ayant maintenu sa réclamation sur le point du report d'impôt, l'Administration cantonale des impôts du canton de Vaud l'a rejetée par décision du 30 octobre 2009. Le recours interjeté contre cette décision a été rejeté par arrêt de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) du 25 mai 2010. Les juges cantonaux ont considéré que l'imposition ne pouvait être reportée ni en vertu de la lettre e (aliénation d'un immeuble agricole), ni selon la lettre f (aliénation de l'habitation) de l'art. 65 de la loi vaudoise du 4 juillet 2000 sur les impôts directs cantonaux (LI; RS/VD 642.11). C. Par écriture parvenue au Tribunal fédéral le 3 septembre 2010, A.X._ a formé un recours en matière de droit public contre l'arrêt du Tribunal cantonal du 25 mai 2010. L'autorité précédente et l'Administration cantonale des impôts concluent au rejet du recours, tandis que l'Administration fédérale des contributions s'en remet à justice. 