Sachverhalt: Sachverhalt: A. Mit Verfügungen vom 16. Mai 2003 sprach die IV-Stelle des Kantons Graubünden A._ (geb. 1949) eine ganze Invalidenrente für die Zeitspanne vom 1. Juli 2000 bis 30. April 2001 sowie eine halbe IV-Rente vom 1. Mai bis 31. Juli 2001 zu. Mit Einspracheentscheid vom 14. August 2003 bestätigte die IV-Stelle diese Verfügungen. A. Mit Verfügungen vom 16. Mai 2003 sprach die IV-Stelle des Kantons Graubünden A._ (geb. 1949) eine ganze Invalidenrente für die Zeitspanne vom 1. Juli 2000 bis 30. April 2001 sowie eine halbe IV-Rente vom 1. Mai bis 31. Juli 2001 zu. Mit Einspracheentscheid vom 14. August 2003 bestätigte die IV-Stelle diese Verfügungen. B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Entscheid vom 21. November 2003 ab. B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Entscheid vom 21. November 2003 ab. C. A._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, es sei ihm für die Periode vom 1. Mai bis 31. Juli 2001 eine ganze statt einer halben und ab 1. August 2001 eine ganze IV-Rente auszurichten. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet. 