Faits: A. A._ est domicilié à Fribourg. Par ordonnance de mesures provisionnelles du 16 juillet 1999, le Président du Tribunal administratif du canton de Fribourg (ci-après: le Tribunal administratif) a confié la garde de ses deux enfants, B._, née le 23 septembre 1982, et C._, née le 31 août 1984, à son épouse. Il a en outre fixé les contributions d'entretien dues par A._ pour l'entretien de sa femme, à 3'900 fr. par mois, et de ses filles, à 1'300 fr. pour B._ et 1'100 fr. pour C._. B. Dans sa déclaration pour les impôts fédéral, cantonal et communal de la période fiscale 2001, A._ a revendiqué la déduction de 103'946 fr. au titre de "pensions alimentaires versées au conjoint divorcé ou séparé et/ou pour enfants". En outre, sous la rubrique "déductions sociales pour enfants à charge", il a indiqué le montant de 4'700 fr. pour chacune de ses filles. Le Service cantonal des contributions du canton de Fribourg (ci-après: le Service cantonal des contributions), dans son avis de taxation du 20 février 2003, a fixé le revenu imposable pour l'impôt cantonal à 116'756 fr. et pour l'impôt fédéral direct à 118'286 fr. Ce Service n'a admis qu'un montant de 10'000 fr. comme déduction des aliments versés à l'épouse. En ce qui concerne les déductions sociales, l'autorité de taxation n'a retenu qu'un montant de 4'700 fr., en précisant que, selon le dossier fiscal de la mère, les deux filles étaient à la charge de celle-ci. A._ avait toutefois droit à la déduction sociale en raison de la contribution d'entretien qu'il versait à sa fille majeure. Dans sa décision sur réclamation du 2 avril 2003, cette même autorité a accepté, sur le total des 87'047 fr. payés à son épouse, deux montants supplémentaires de 3'800 fr. chacun, versés en 2001, ce qui portait la déduction totale admise, pour les pensions alimentaires, à 17'600 fr. Les 69'447 fr. restants ayant été payés en 2002, ils n'étaient pas déductible pour la période fiscale 2001. Il en allait de même du montant de 16'900 fr. payé en faveur de la fille aînée, puisque celle-ci était majeure. Le nouvel avis de taxation du 23 mai 2003 mentionnait un revenu imposable pour l'impôt cantonal de 109'156 fr. et pour l'impôt fédéral direct de 110'686 fr. C. Par arrêt du 26 septembre 2003, le Tribunal administratif a pris acte du fait que le Service cantonal des contributions admettait que la fille cadette de A._ vivait avec celui-ci et que le recourant avait droit au splitting - soit au taux correspondant à 60% du revenu imposable - pour personnes séparées ou divorcées faisant ménage commun avec des enfants ou personne nécessiteuse dont ils assurent pour l'essentiel l'entretien, les autres griefs étant devenus sans objet. Pour le surplus, il a rejeté le recours de A._ contre la décision sur réclamation susmentionnée. Il a considéré en substance que les pensions en faveur d'un enfant majeur, soit la somme de 16'900 fr. versée à B._, n'étaient pas déductibles du revenu. Ne l'étaient pas non plus, les montants payés à sa conjointe en 2002, soit 69'447 fr. D. Agissant par la voie du recours de droit administratif, A._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal administratif du 26 septembre 2003 et d'admettre le montant de 103'946 fr. comme déduction de pensions alimentaires. Il invoque une constatation manifestement inexacte et incomplète des faits pertinents. En outre, il fait valoir que les pensions versées à des enfants majeurs ne sont pas imposables chez le bénéficiaire et ne sont pas déductibles chez le débiteur ce qui violerait l'interdiction de l'arbitraire. Le Tribunal administratif et le Service cantonal des contributions concluent au rejet du recours sous suite de frais. L'Administration fédérale des contributions conclut dans le même sens. 