Faits: A. X._ exploite, sous la raison individuelle M. X._, une entreprise inscrite au registre du commerce du canton de Vaud depuis le 6 août 2002, qui exerce le commerce de crustacés, textiles, vêtements et cuir. Ces activités ont été reprises de la société en nom collectif M. X._ & company, fondée en novembre 1994, qui bénéficiait d'un permis général d'importation de lait et de produits laitiers depuis le 4 janvier 2000 Par l'intermédiaire du transitaire Z._ SA, X._ a importé, entre le 30 novembre 1999 et le 6 novembre 2001, six envois de matières grasses du lait, un envoi de lait en poudre et un envoi de pâte à tartiner. Le dédouanement a été effectué au bureau de douane de Genève La Praille. Lors d'un contrôle subséquent, l'Office fédéral de l'agriculture a constaté que X._ ne disposait pas des parts de contingent tarifaire nécessaires pour l'importation de "ghee" et de poudre de lait. B. Le 1er mai 2003, la Direction d'arrondissement des douanes de Genève a rendu une décision de perception subséquente portant sur 94'769.50 fr., correspondant à la différence entre le taux hors contingent tarifaire appliqué aux quantités de produits laitiers importés et le taux contingent tarifaire. Le 4 octobre 2006, la Direction générale des douanes (en abrégé: DGD) a rejeté le recours de X._ en tant qu'il concernait le classement du "ghee" proprement dit - à base de matières grasses du lait, par opposition au "ghee" de provenance végétale - sous un autre numéro de tarif que celui prévu pour la catégorie "autre matière grasse provenant du lait" (0.405. 9010/9090). Partant, après avoir exclu un lot de la perception subséquente, elle a fixé à 84'162.50 fr. le montant dû à ce titre par X._. Par arrêt du 10 mars 2008, le Tribunal administratif fédéral a partiellement admis le recours de X._ et a réformé la décision de la DGD en réduisant à 80'032.25 fr. le montant devant faire l'objet de la perception subséquente, conformément à la proposition de la DGD d'appliquer un taux de TVA réduit aux importations litigieuses. C. X._ recourt auprès du Tribunal fédéral contre l'arrêt du 10 mars 2008, dont il demande l'annulation, après réexamen de sa cause pour tenir compte de sa situation personnelle. Le Tribunal administratif fédéral a renoncé à se déterminer. L'Administration fédérale des douanes a déposé des observations et conclut au rejet du recours, sous suite de frais. 