Sachverhalt: Sachverhalt: A. C._, geboren 1953, arbeitete ab März 2000 bis zu seiner Entlassung wegen massiven Auftragseinbruchs per Ende November 2002 als Hilfsarbeiter für die Firma Q._ AG. Wegen chronischer Rückenschmerzen meldete er sich am 20. Dezember 2002 bei der Invalidenversicherung zum Leistungsbezug an, worauf die IV-Stelle des Kantons Graubünden je einen Bericht der ehemaligen Arbeitgeberin vom 15. Januar 2003 und des Dr. med. B._, Facharzt FMH für Innere Medizin, speziell Rheumatologie, vom 22. Januar 2003 (mit Bericht der Klinik X._ vom 17. Dezember 2002) einholte. Im Weiteren zog die Verwaltung die Akten der Arbeitslosen- und Taggeldversicherung bei; Letztere hatte C._ im Verlauf des Jahres 2002 mehrmals Leistungen ausgerichtet. Mit Verfügung vom 7. Mai 2003 lehnte die IV-Stelle den Anspruch auf Rente und berufliche Massnahmen mangels Bestehens einer Invalidität ab, da C._ für leichte und mittelschwere Tätigkeiten vollständig arbeitsfähig sei. Die mit Bericht des Dr. med. B._ vom 6. Juni 2003 erhobene Einsprache wurde mit Einspracheentscheid vom 29. September 2003 abgewiesen. Nachdem sich C._ auch bei der Arbeitslosenversicherung angemeldet und diese ab Januar 2003 Taggeldleistungen erbracht hatte, verneinte das Amt für Industrie, Gewerbe und Arbeit des Kantons Graubünden (KIGA) mit Verfügung vom 18. September 2003 die Vermittlungsfähigkeit des C._ und lehnte ab dem 19. August 2003 den Anspruch auf Taggelder der Arbeitslosenversicherung ab. Eine dagegen erhobene Einsprache ist zur Zeit noch hängig. Nachdem sich C._ auch bei der Arbeitslosenversicherung angemeldet und diese ab Januar 2003 Taggeldleistungen erbracht hatte, verneinte das Amt für Industrie, Gewerbe und Arbeit des Kantons Graubünden (KIGA) mit Verfügung vom 18. September 2003 die Vermittlungsfähigkeit des C._ und lehnte ab dem 19. August 2003 den Anspruch auf Taggelder der Arbeitslosenversicherung ab. Eine dagegen erhobene Einsprache ist zur Zeit noch hängig. B. Die gegen den Einspracheentscheid der IV-Stelle erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Entscheid vom 13. Januar 2004 ab, nachdem es je einen von der Arbeitslosenversicherung veranlassten Abklärungsbericht der Institution I._ vom 17. Juli 2003 und einen Arztbericht der A._, AG für medizinische und versicherungstechnische Abklärungen, vom 21. August 2003 zu den Akten genommen hatte. B. Die gegen den Einspracheentscheid der IV-Stelle erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Entscheid vom 13. Januar 2004 ab, nachdem es je einen von der Arbeitslosenversicherung veranlassten Abklärungsbericht der Institution I._ vom 17. Juli 2003 und einen Arztbericht der A._, AG für medizinische und versicherungstechnische Abklärungen, vom 21. August 2003 zu den Akten genommen hatte. C. C._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, unter Aufhebung des vorinstanzlichen Entscheides und des Einspracheentscheides sei die Sache an die Verwaltung zur weiteren Abklärung und zur Neubeurteilung der Ansprüche auf Rente und berufliche Massnahmen zurückzuweisen. Die IV-Stelle schliesst sinngemäss auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet. 