Sachverhalt: Sachverhalt: A. Der russische Staatsangehörige R._, geboren 1965, reiste im September 2002 in die Schweiz ein, wo er um Asyl nachsuchte. Unter Hinweis auf Rückenbeschwerden, Neurodermitis, rezidivierenden Herpes und Asthma bronchiale meldete er sich am 4. Juli 2003 bei der Invalidenversicherung zum Rentenbezug an. Die IV-Stelle des Kantons Zürich zog verschiedene Arztberichte und einen Auszug aus dem Individuellen Konto bei. Mit Verfügung vom 17. Oktober 2003 stellte sie fest, dass aus ärztlicher Sicht seit November 2002 eine eingeschränkte Leistungsfähigkeit für körperlich schwere Arbeiten bestehe und der Versicherungsfall mit Ablauf der einjährigen Wartezeit im November 2003 eingetreten sei. Selbst wenn die versicherungsmässigen Voraussetzungen erfüllt wären, würde kein Rentenanspruch bestehen, weil die Restarbeitsfähigkeit aus invaliditätsfremden Gründen (fehlende Arbeitsbewilligung) nicht verwertet werden könne. Daran hielt sie mit Einspracheentscheid vom 17. November 2003 fest. A. Der russische Staatsangehörige R._, geboren 1965, reiste im September 2002 in die Schweiz ein, wo er um Asyl nachsuchte. Unter Hinweis auf Rückenbeschwerden, Neurodermitis, rezidivierenden Herpes und Asthma bronchiale meldete er sich am 4. Juli 2003 bei der Invalidenversicherung zum Rentenbezug an. Die IV-Stelle des Kantons Zürich zog verschiedene Arztberichte und einen Auszug aus dem Individuellen Konto bei. Mit Verfügung vom 17. Oktober 2003 stellte sie fest, dass aus ärztlicher Sicht seit November 2002 eine eingeschränkte Leistungsfähigkeit für körperlich schwere Arbeiten bestehe und der Versicherungsfall mit Ablauf der einjährigen Wartezeit im November 2003 eingetreten sei. Selbst wenn die versicherungsmässigen Voraussetzungen erfüllt wären, würde kein Rentenanspruch bestehen, weil die Restarbeitsfähigkeit aus invaliditätsfremden Gründen (fehlende Arbeitsbewilligung) nicht verwertet werden könne. Daran hielt sie mit Einspracheentscheid vom 17. November 2003 fest. B. Das Sozialversicherungsgericht des Kantons Zürich wies die hiegegen erhobene Beschwerde mit Entscheid vom 9. Juni 2004 ab. B. Das Sozialversicherungsgericht des Kantons Zürich wies die hiegegen erhobene Beschwerde mit Entscheid vom 9. Juni 2004 ab. C. R._ führt Verwaltungsgerichtsbeschwerde mit dem Antrag auf Aufhebung des vorinstanzlichen Entscheids. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Stellungnahme verzichtet. 