Faits: A. A._, ressortissant tunisien né le 29 juin 1963, est entré en Suisse le 2 janvier 1996. Le 23 février 1996, il a épousé B._, ressortissante suisse de quatre ans son aînée et divorcée. Il s'est ainsi vu délivrer une autorisation de séjour. Le 8 juillet 2002, A._ a déposé une demande de naturalisation facilitée. Le requérant et son épouse ont contresigné, le 25 juin 2003, une déclaration écrite aux termes de laquelle ils confirmaient vivre en communauté conjugale effective et stable, résider à la même adresse et n'envisager ni séparation, ni divorce. Leur attention a été attirée sur le fait que la naturalisation facilitée ne pouvait pas être octroyée lorsque, avant ou pendant la procédure de naturalisation, l'un des époux demandait le divorce ou la séparation, ou lorsque la communauté conjugale effective n'existait plus. La déclaration signée précisait en outre que si cet état de fait était dissimulé, la naturalisation facilitée pouvait être annulée dans les cinq ans. Par décision du 28 août 2003, l'Office fédéral de l'immigration, de l'intégration et de l'émigration (actuellement l'Office fédéral des migrations [ci-après: l'ODM]) a accordé la naturalisation facilitée à A._. B. A._ et B._ se sont séparés le 1er avril 2004. Le 24 avril suivant, ils ont introduit une requête commune de divorce auprès du Tribunal d'arrondissement de l'Est vaudois. Par jugement du 2 septembre 2004, devenu définitif et exécutoire le 14 septembre 2004, cette autorité a prononcé la dissolution du mariage. Le 7 octobre 2004, A._ a épousé une ressortissante tunisienne, née en 1977. En date du 6 décembre 2004, le Service de l'état civil et des naturalisations du canton de Fribourg a dénoncé A._ en vue d'une annulation de sa naturalisation facilitée. Invité à se déterminer par l'ODM, l'intéressé a répondu que son divorce était dû à des "raisons personnelles" que le couple a décidé de garder pour lui. B._ a été entendue le 9 mai 2005. Elle a déclaré que la volonté de mener une vie conjugale s'était éteinte vers le mois d'avril 2004, mais que les problèmes conjugaux avaient débuté fin 2001, en raison de divergences relatives à la volonté d'avoir des enfants. A cet égard, elle a précisé qu'ayant déjà un enfant adulte et étant grand-mère, elle ne s'imaginait pas avoir un nouvel enfant, tandis que A._ voulait fonder une famille. Elle a indiqué que lorsqu'elle avait signé la déclaration commune du 25 juin 2003, elle n'avait aucune intention de divorcer et que la décision de rompre l'union conjugale était intervenue d'un commun accord en avril 2004, afin que A._ "trouve son bonheur en ayant des enfants". Invité par l'ODM à se déterminer sur les déclarations de son ex-épouse, A._ a confirmé l'intégralité des propos tenus par celle-ci. C. Par décision du 19 avril 2006, l'ODM a prononcé l'annulation de la naturalisation facilitée accordée à A._. En substance, il a retenu que le mariage n'était pas constitutif d'une communauté conjugale effective et stable lors de la signature de la déclaration commune et que l'octroi de la naturalisation facilitée s'était fait sur la base de déclarations mensongères, voire de dissimulation de faits essentiels. A._ a recouru contre cette décision auprès du Département fédéral de justice et police. Il a notamment allégué qu'au moment de l'octroi de la naturalisation facilitée, la communauté conjugale qu'il avait formée avec B._ était stable et ne laissait pas présager le divorce ultérieur. A titre d'exemple, il a relevé qu'ils étaient partis en vacances ensemble en août 2003. En outre, l'intéressé a produit un lot de photographies prises durant le mariage, deux livrets de récépissés attestant que le couple faisait des paiements en commun, des courriers de soutien de la soeur, du beau-frère et de la fille de B._ ainsi qu'une lettre de témoignage dans laquelle celle-ci écrit notamment que la décision de divorcer a été prise "pour que A._ ait toutes les chances d'être papa". La cause a été transmise au Tribunal administratif fédéral, conformément à l'art. 53 al. 2 de la loi sur le Tribunal administratif fédéral (LTAF; RS 173.32). Dans un courrier du 18 avril 2008, l'intéressé a informé cette autorité de la naissance d'un enfant issu de son union avec sa nouvelle épouse le 14 août 2007. Le Tribunal administratif fédéral a confirmé la décision de l'ODM au terme d'un arrêt rendu le 22 juillet 2008. Il a considéré en substance que la communauté conjugale des intéressés n'était plus étroite et effective au moment de la signature de la déclaration commune, vu le désaccord du couple quant à la volonté de fonder une famille. L'enchaînement rapide des faits entre la naturalisation, la requête de divorce et le remariage avec une ressortissante tunisienne, était également de nature à fonder la présomption que A._ avait obtenu la naturalisation facilitée par dissimulation de faits essentiels. D. Agissant par la voie du recours en matière public, A._ demande au Tribunal fédéral de réformer cet arrêt en ce sens que la naturalisation facilitée qui lui a été accordée le 28 août 2003 ne soit pas annulée. Il reproche au Tribunal administratif fédéral d'avoir abusé de son pouvoir d'appréciation dans l'examen des éléments fondant le retrait de la naturalisation et d'avoir ainsi rendu une décision arbitraire (art. 9 Cst.), contraire au principe de proportionnalité et au but de la loi fédérale du 29 septembre 1952 sur l'acquisition et la perte de la nationalité suisse (LN; RS 141.0). L'Office fédéral des migrations et le Tribunal administratif fédéral ont renoncé à se déterminer. 