Sachverhalt: Mit Verfügungen vom 11. Oktober 2002 sprach die IV-Stelle Schwyz dem 1955 geborenen H._ eine halbe Invalidenrente vom 1. Januar bis 30. April 2002 und eine Viertelsrente der Invalidenversicherung ab 1. Mai 2002 sowie die entsprechenden Zusatzrenten für die Ehefrau und den Sohn zu. Die dagegen erhobenen Beschwerden wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 21. März 2003 ab. H._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, die Sache sei zu neuer Beurteilung an das kantonale Gericht zurückzuweisen. Eventuell sei ihm die halbe Invalidenrente auch ab 1. Mai 2002 zu gewähren. Das Verwaltungsgericht des Kantons Schwyz schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, soweit darauf einzutreten sei, die IV-Stelle auf Abweisung. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung. 