Sachverhalt: Sachverhalt: A. X._, irakischer Staatsangehöriger, reiste im Dezember 2000 in die Schweiz ein und stellte hier ein Asylgesuch. Dieses zog er im September 2002 nach der Heirat mit einer Schweizer Bürgerin zurück. Zum Verbleib bei der Ehefrau erhielt er eine Aufenthaltsbewilligung. Am 4. Februar 2005 stellte das Bundesamt für Migration X._ auf dessen Gesuch hin einen Pass für ausländische Personen (gültig bis 3. Februar 2010) aus. Diesen Pass entzog ihm das Bundesamt indes wieder mit Verfügung vom 11. April 2005; das Dokument sei innert Frist zurückzugeben. X._ sei es zumutbar, sich auf der permanenten Mission der Republik Irak in Genf um einen Heimatpass zu bemühen. Am 24. April 2005 verlangte X._ vom Beschwerdedienst des Eidgenössischen Justiz- und Polizeidepartements, den Entzug des schweizerischen Passes zu annullieren bzw. diesen Pass trotz des zwischenzeitlich erhaltenen irakischen Passes behalten zu dürfen. A. X._, irakischer Staatsangehöriger, reiste im Dezember 2000 in die Schweiz ein und stellte hier ein Asylgesuch. Dieses zog er im September 2002 nach der Heirat mit einer Schweizer Bürgerin zurück. Zum Verbleib bei der Ehefrau erhielt er eine Aufenthaltsbewilligung. Am 4. Februar 2005 stellte das Bundesamt für Migration X._ auf dessen Gesuch hin einen Pass für ausländische Personen (gültig bis 3. Februar 2010) aus. Diesen Pass entzog ihm das Bundesamt indes wieder mit Verfügung vom 11. April 2005; das Dokument sei innert Frist zurückzugeben. X._ sei es zumutbar, sich auf der permanenten Mission der Republik Irak in Genf um einen Heimatpass zu bemühen. Am 24. April 2005 verlangte X._ vom Beschwerdedienst des Eidgenössischen Justiz- und Polizeidepartements, den Entzug des schweizerischen Passes zu annullieren bzw. diesen Pass trotz des zwischenzeitlich erhaltenen irakischen Passes behalten zu dürfen. B. Das Departement wies am 10. August 2006 die Beschwerde von X._ vom 24. April 2005 mit der Begründung ab, die Voraussetzungen für die Abgabe eines schweizerischen Ersatzreisepapiers seien nach dem Erwerb des irakischen Passes nicht mehr erfüllt. B. Das Departement wies am 10. August 2006 die Beschwerde von X._ vom 24. April 2005 mit der Begründung ab, die Voraussetzungen für die Abgabe eines schweizerischen Ersatzreisepapiers seien nach dem Erwerb des irakischen Passes nicht mehr erfüllt. C. X._ hat am 13. September 2006 beim Bundesgericht Verwaltungsgerichtsbeschwerde eingereicht. Er beantragt, den Beschwerdeentscheid des Departements sowie die Verfügung des Bundesamts aufzuheben und ihm den Pass für ausländische Personen zu belassen. Das Departement beantragt die Abweisung der Beschwerde. 