Sachverhalt: Sachverhalt: A. Der in der Schweiz niedergelassene X._ ersuchte am 24. April 2001 um Nachzug seiner Ehegattin. Mit Verfügung vom 5. Oktober 2001 widerrief das Amt für Verwaltungspolizei, Abteilung Fremdenpolizei, des Kantons Uri die Niederlassungsbewilligung und lehnte das Gesuch um Familiennachzug ab. Die dagegen erhobene Beschwerde wies der Regierungsrat des Kantons Uri mit Beschluss vom 4. Juni 2002 ab. Mit Entscheid vom 14. Februar 2003 hob das Obergericht des Kantons Uri auf Beschwerde hin den Regierungsratsbeschluss auf und wies die Sache zu neuem Entscheid an die Vorinstanz zurück. A. Der in der Schweiz niedergelassene X._ ersuchte am 24. April 2001 um Nachzug seiner Ehegattin. Mit Verfügung vom 5. Oktober 2001 widerrief das Amt für Verwaltungspolizei, Abteilung Fremdenpolizei, des Kantons Uri die Niederlassungsbewilligung und lehnte das Gesuch um Familiennachzug ab. Die dagegen erhobene Beschwerde wies der Regierungsrat des Kantons Uri mit Beschluss vom 4. Juni 2002 ab. Mit Entscheid vom 14. Februar 2003 hob das Obergericht des Kantons Uri auf Beschwerde hin den Regierungsratsbeschluss auf und wies die Sache zu neuem Entscheid an die Vorinstanz zurück. B. Das Amt für Arbeit und Migration, das gemäss Art. 12 des urnerischen Reglements vom 8. Juli 2003 zum Bundesgesetz über Aufenthalt und Niederlassung der Ausländer und zum Asylgesetz neu Vorinstanz des Obergerichts ist, widerrief mit Verfügung vom 17. Februar 2004 die Niederlassungsbewilligung erneut. Die dagegen erhobene Einsprache lehnte es mit Entscheid vom 3. Juni 2004 ab. In der Rechtsmittelbelehrung des Einspracheentscheids wurde für die Verwaltungsgerichtsbeschwerde an das Obergericht fälschlicherweise eine Frist von 30 Tagen nach Erhalt genannt. B. Das Amt für Arbeit und Migration, das gemäss Art. 12 des urnerischen Reglements vom 8. Juli 2003 zum Bundesgesetz über Aufenthalt und Niederlassung der Ausländer und zum Asylgesetz neu Vorinstanz des Obergerichts ist, widerrief mit Verfügung vom 17. Februar 2004 die Niederlassungsbewilligung erneut. Die dagegen erhobene Einsprache lehnte es mit Entscheid vom 3. Juni 2004 ab. In der Rechtsmittelbelehrung des Einspracheentscheids wurde für die Verwaltungsgerichtsbeschwerde an das Obergericht fälschlicherweise eine Frist von 30 Tagen nach Erhalt genannt. C. Gegen den am 8. Juni 2004 zugestellten Einspracheentscheid erhob der Rechtsvertreter von X._ am 8. Juli 2004 (Datum des Poststempels) Verwaltungsgerichtsbeschwerde an das Obergericht des Kantons Uri. Dieses trat mit Entscheid vom 3. September 2004 auf die Beschwerde wegen Verspätung nicht ein. Erfolglos ersuchte X._ um Wiederherstellung der Frist. C. Gegen den am 8. Juni 2004 zugestellten Einspracheentscheid erhob der Rechtsvertreter von X._ am 8. Juli 2004 (Datum des Poststempels) Verwaltungsgerichtsbeschwerde an das Obergericht des Kantons Uri. Dieses trat mit Entscheid vom 3. September 2004 auf die Beschwerde wegen Verspätung nicht ein. Erfolglos ersuchte X._ um Wiederherstellung der Frist. D. Mit Verwaltungsgerichtsbeschwerde an das Bundesgericht vom 6. Oktober 2004 beantragt X._, den Entscheid des Obergerichts vom 3. September 2004 aufzuheben, die Sache an die Vorinstanz zurückzuweisen und der Beschwerde aufschiebende Wirkung zu erteilen. Das Amt für Arbeit und Migration stellt in seiner Vernehmlassung keinen ausdrücklichen Antrag. Das Obergericht des Kantons Uri hat auf eine Stellungnahme verzichtet. Das Bundesamt für Zuwanderung, Integration und Auswanderung (seit 1. Januar 2005: Bundesamt für Migration) schliesst auf Abweisung der Beschwerde. Das Amt für Arbeit und Migration stellt in seiner Vernehmlassung keinen ausdrücklichen Antrag. Das Obergericht des Kantons Uri hat auf eine Stellungnahme verzichtet. Das Bundesamt für Zuwanderung, Integration und Auswanderung (seit 1. Januar 2005: Bundesamt für Migration) schliesst auf Abweisung der Beschwerde. E. Mit Präsidialverfügung vom 29. Oktober 2004 wurde der Beschwerde aufschiebende Wirkung zuerkannt. 