Faits: A. Le 24 septembre 1999, A._, ressortissant pakistanais né en 1974, dont la requête d'asile en Suisse avait été définitivement écartée le 31 juillet 1999, a épousé B._t, ressortissante suisse née en 1957. Le 5 décembre 2003, il a obtenu la naturalisation facilitée après avoir signé, le 29 octobre 2003, une déclaration sur la sincérité de son union. Le 15 mars 2005, l'Office fédéral des migrations (ODM) s'est adressé à A._. Depuis le 14 juin 2004 en tout cas, il vivait séparé de son épouse et le divorce avait été prononcé le 21 février 2005. Compte tenu du très bref laps de temps entre la naturalisation et la séparation, une annulation de la naturalisation facilitée était envisageable. Le 8 avril 2005, A._ expliqua que les difficultés étaient apparues au début de l'année 2004, et que la séparation avait été décidée afin de lui "donner une chance de construire une véritable famille". Il produisit une dizaine de déclarations de son ex-belle-famille et de connaissances selon lesquelles il existait une communauté conjugale réelle. Lors de son audition, son ex-épouse confirma que les difficultés du couple étaient dues au fait qu'elle ne pouvait pas avoir d'enfant. B. Par décision du 12 octobre 2007, l'ODM a annulé la naturalisation facilitée. L'enchaînement des faits faisait apparaître que le mariage ne constituait pas une communauté effective et stable. L'intéressé savait que son épouse, âgée de 42 ans au moment du mariage, ne pourrait pas avoir d'enfants. Par arrêt du 21 novembre 2008, le Tribunal administratif fédéral (TAF) a confirmé cette décision. Les difficultés conjugales avaient commen-cé une vingtaine de jours seulement après la naturalisation. La question des enfants n'était devenue problématique qu'à ce moment, alors qu'elle était primordiale selon les explications du recourant. C. Par acte du 13 janvier 2009, A._ forme un recours en matière de droit public tendant à l'annulation de l'arrêt du TAF et de la décision de l'ODM. Le TAF et l'ODM ont renoncé à se déterminer. Le recourant a requis et obtenu l'effet suspensif. 