Sachverhalt: A. X._ betreibt in A._ (D) ein _fachgeschäft. Er beauftragte die in der Schweiz ansässige R._ AG mit der Schaltung von Werbeinseraten in inländischen Zeitungen und liess bei der M._ AG Einladungskarten und Prospekte für seine schweizerische Kundschaft herstellen. Die mit der Mehrwertsteuer ausgestellten Rechnungen waren an die Postfachadresse von X._ in U._, welche dieser für seine inländischen Kunden und Lieferanten eingerichtet hatte, adressiert. X._ korrespondierte bereits in den Jahren 1997 und 1998 mit der Eidgenössischen Steuerverwaltung, unter welchen Voraussetzungen den Abnehmern mit Wohn- oder Geschäftssitz im Ausland die Steuer auf den an sie im Inland ausgeführten Lieferungen oder Dienstleistungen die Steuer vergütet werden kann (Art. 81 lit. c der Verordnung über die Mehrwertsteuer vom 22. Juni 1994, MWSTV, AS 1994 1464; jetzt Art. 90 Abs. 2 lit. b des Bundesgesetzes über die Mehrwertsteuer vom 2. September 1999, MWSTG, SR 641.20). Mit Schreiben vom 31. August 1998 machte die Eidgenössische Steuerverwaltung X._ auf die formellen Anforderungen aufmerksam, welchen die Rechnungen im Hinblick auf die Vergütung der Steuer genügen müssen. Am 20. Juni 2002 und 25. Juni 2003 stellte X._ der Eidgenössischen Steuerverwaltung Antrag auf Rückerstattung der schweizerischen Mehrwertsteuer für das Jahr 2001 resp. 2002, was diese mit Hinweis auf ihre verschiedenen Schreiben ablehnte (Entscheid vom 5. November 2003). Eine Einsprache wies die Eidgenössische Steuerverwaltung am 27. Mai 2004 ab. B. X._ führte Beschwerde bei der Eidgenössischen Steuerrekurskommission. Das Bundesverwaltungsgericht, welches das Verfahren von der Eidgenössischen Steuerrekurskommission übernommen hatte, hiess die Beschwerde gut, soweit sie die Rückerstattung der auf den Rechnungen der M._ AG belasteten Mehrwertsteuern betraf, und verpflichtete die Eidgenössische Steuerverwaltung, auf dem zurückzuerstattenden Betrag einen Vergütungszins von 5 % auszurichten (Art. 48 Abs. 4 MWSTG in Verbindung mit Art. 1 Abs. 3 der Verordnung des Eidgenössischen Finanzdepartements vom 20. Juni 2000 über die Verzugs- und Vergütungszinssätze, SR 641.201.49). Im Übrigen wies das Bundesverwaltungsgericht die Beschwerde ab (Entscheid vom 19. März 2007). C. Mit Beschwerde beantragt die Eidgenössische Steuerverwaltung dem Bundesgericht, das Urteil des Bundesverwaltungsgerichts sei teilweise aufzuheben. Es sei festzustellen, dass auf der Vergütung der Steuer gemäss Art. 90 Abs. 2 lit. b MWSTG kein Zins geschuldet sei. X._ schliesst auf Abweisung der Beschwerde. Das Bundesverwaltungsgericht verzichtete auf eine Vernehmlassung. 