Faits: A. X._ (ci-après: l'assujetti ou l'intimé), avocat de profession, est immatriculé dans le registre des assujettis à la taxe sur la valeur ajoutée (ci-après: TVA) depuis le 1er janvier 1999. Le 1er février 1999, le prénommé a été nommé administrateur spécial de la faillite de Y._. Par courrier du 21 mai 2002, l'assujetti a demandé à l'Administration fédérale des contributions, Division principale de la taxe sur la valeur ajoutée (ci-après: l'Administration fédérale ou la recourante), de lui créditer un montant de TVA de 27'415 fr. 12, plus intérêt moratoire à compter du 1er septembre 2000. Il a fait valoir qu'il avait facturé à la masse de la faillite précitée des montants de TVA pour ses prestations d'administrateur spécial, alors qu'une telle activité relevait de la puissance publique et n'était de ce fait pas soumise à l'impôt. Par lettres des 20 juin et 3 septembre 2002, l'Administration fédérale a invité l'assujetti à lui faire parvenir la note de crédit adressée à la masse en faillite en relation avec la TVA facturée à tort durant les périodes fiscales allant du 1er semestre 1999 au 1er semestre 2000, ainsi que la preuve du remboursement du montant de 27'415 fr. 12. Par courriers des 23 et 29 octobre 2002, l'assujetti a demandé à l'Administration fédérale les raisons pour lesquelles elle exigeait la preuve du remboursement. L'assujetti a remis à l'Administration fédérale une copie de l'avis de crédit le 15 mai 2003. A la demande de cette dernière, il a encore fourni des informations complémentaires dans un courrier du 8 juillet 2003. Sur la base des éléments communiqués, l'Administration fédérale a levé l'imposition des prestations d'administrateur spécial et a fait parvenir à l'assujetti l'avis de crédit no 664240 du 5 août 2003, portant sur un montant de 23'185 fr. Par courrier du 8 septembre 2003, l'Administration fédérale a communiqué à l'assujetti le mode de calcul de l'intérêt rémunératoire sur le montant ressortant de l'avis de crédit précité, intérêt qui se montait à 84 fr. A l'encontre de ce mode de calcul, l'assujetti a interjeté recours devant la Commission fédérale de recours en matière de contributions, laquelle a transmis le dossier à l'Administration fédérale comme objet de sa compétence. B. Par décision du 19 janvier 2004, l'Administration fédérale a confirmé que l'intérêt rémunératoire auquel l'assujetti avait droit sur la somme de TVA remboursée de 23'185 fr. se montait à 84 fr. A l'encontre de ce prononcé, l'assujetti a formé une réclamation qui a été rejetée le 8 novembre 2005. La décision sur réclamation a été déférée à la Commission fédérale de recours en matière de contributions, à laquelle a succédé le Tribunal administratif fédéral. Par arrêt du 16 juillet 2009, celui-ci a admis le recours et renvoyé la cause à l'Administration fédérale pour qu'elle procède à un nouveau calcul de l'intérêt rémunératoire, en conformité avec les considérants de son jugement. Le Tribunal administratif fédéral a soulevé la question de savoir si l'Administration fédérale n'aurait pas dû refuser de rembourser le montant de 23'185 fr., au vu des exigences relativement strictes auxquelles est soumise la restitution de l'impôt acquitté à tort. Après avoir relevé que l'assujetti avait a priori respecté les exigences relatives à la correction des factures et que rien ne donnait à penser que celui-ci avait bénéficié d'un traitement de faveur, il a renoncé à examiner plus avant cette question qui ne faisait pas l'objet du litige. Le Tribunal administratif fédéral a ensuite considéré que, conformément à l'art. 48 al. 4 de la loi fédérale du 2 septembre 1999 régissant la taxe sur la valeur ajoutée (loi sur la TVA; RO 2000 1300 et les modifications ultérieures; en vigueur du 1er janvier 2001 au 31 décembre 2009; ci-après: aLTVA) et sous réserve d'abus de droit, l'intérêt rémunératoire commençait à courir le 61e jour après la demande de remboursement. En l'occurrence, la demande de remboursement datait du 21 mai 2002 et il n'apparaissait pas qu'en adressant la note de crédit à l'Administration fédérale seulement le 15 mai 2003, l'assujetti ait délibérément fait traîner la procédure et que son comportement ait été en cela abusif. Par conséquent, c'était la demande de remboursement et non pas, comme le pensait l'Administration fédérale, la remise de la note de crédit qui marquait le point de départ du délai de 60 jours au terme duquel l'intérêt rémunératoire litigieux commençait à courir. C. Agissant par la voie du recours en matière de droit public, l'Administration fédérale demande au Tribunal fédéral d'annuler l'arrêt du 16 juillet 2009 et de rétablir la décision sur réclamation du 8 novembre 2005, sous suite de frais. Elle se plaint d'une violation de l'art. 48 al. 4 aLTVA. L'autorité précédente renonce à se déterminer sur le recours. L'intimé n'a donné aucune suite au courrier l'invitant à prendre position. 