Sachverhalt: Sachverhalt: A. S._, geboren 1959, war seit Januar 1995 als Maurer für das Baugeschäft M._ AG tätig, als er im März 1995 eine Skaphoidfraktur rechts erlitt, was mehrere Operationen zur Folge hatte (unter anderem am 31. März 2000 und am 30. März 2001). Am 28. Mai 1997 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an, worauf die IV-Stelle des Kantons Zürich Abklärungen in medizinischer und erwerblicher Hinsicht vornahm. Mit Verfügung vom 24. März 1998 lehnte die Verwaltung die Ausrichtung einer Invalidenrente sowie Umschulungsmassnahmen ab, da S._ in einer leidensangepassten Tätigkeit ein rentenausschliessendes Einkommen erzielen könne; die Arbeitsvermittlung sei aus invaliditätsfremden Gründen gescheitert. Diese Verfügung wurde nicht angefochten. Am 30. September 1999 wurde S._ - mittlerweile seit Februar 1998 arbeitslos - von einer Autofahrerin angefahren und an der (vom Unfall 1995 betroffenen) rechten Hand verletzt. Er meldete sich am 13. Juli 2000 erneut bei der Invalidenversicherung zum Leistungsbezug an; die Verwaltung zog die Akten des zuständigen Unfallversicherers bei und holte diverse Arztberichte ein (unter anderem mehrere der Klinik Y._). Mit Verfügung vom 25. Juni 2001 sprach die IV-Stelle S._ vom 1. Oktober bis zum 31. Dezember 1999 eine Viertelsrente und mit Wirkung ab Januar 2000 eine ganze Rente der Invalidenversicherung zu; mit Verfügung vom 9. Juli 2001 wurde die Viertelsrente auf eine halbe Härtefallrente erhöht. Anlässlich einer Rentenrevision ging die Verwaltung von einem Invaliditätsgrad von nur noch 21 % aus und hob - nach durchgeführtem Vorbescheidverfahren - die laufende ganze Rente mit Verfügung vom 17. Mai 2002 per Ende Juni 2002 auf. Die Schweizerische Unfallversicherungsanstalt (SUVA) als zuständiger Unfallversicherer richtet - neben einer (einmaligen) Integritätsentschädigung für eine Integritätseinbusse von 5 % - seit Februar 1998 eine Invalidenrente für eine Erwerbseinbusse von 25 % aus; zudem erhält S._ seit dem Unfall von September 1999 Taggelder der Unfallversicherung für eine vollständige Arbeitsunfähigkeit. Die Schweizerische Unfallversicherungsanstalt (SUVA) als zuständiger Unfallversicherer richtet - neben einer (einmaligen) Integritätsentschädigung für eine Integritätseinbusse von 5 % - seit Februar 1998 eine Invalidenrente für eine Erwerbseinbusse von 25 % aus; zudem erhält S._ seit dem Unfall von September 1999 Taggelder der Unfallversicherung für eine vollständige Arbeitsunfähigkeit. B. Die gegen die rentenaufhebende Verfügung der IV-Stelle von Mai 2002 erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 18. Juni 2003 ab, nachdem es die Akten der SUVA und je einen Bericht der Klinik X._ vom 22. Januar/10. Februar 2003 sowie der Klinik Y._ vom 22. April 2003 beigezogen hatte. B. Die gegen die rentenaufhebende Verfügung der IV-Stelle von Mai 2002 erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 18. Juni 2003 ab, nachdem es die Akten der SUVA und je einen Bericht der Klinik X._ vom 22. Januar/10. Februar 2003 sowie der Klinik Y._ vom 22. April 2003 beigezogen hatte. C. Unter Beilage eines Berichts des Hausarztes Dr. med. G._, Innere Medizin FMH, vom 23. August 2003 lässt S._ Verwaltungsgerichtsbeschwerde führen mit den Anträgen, unter Aufhebung des vorinstanzlichen Entscheides und der Verwaltungsverfügung sei ihm weiterhin eine ganze Invalidenrente auszurichten, eventualiter sei die Sache zur Vornahme weiterer Abklärungen und zu neuem Entscheid an das kantonale Gericht zurückzuweisen. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet. 