Sachverhalt: A. Der 1977 geborene R._ war von März bis Dezember 2001 als Gartenarbeiter bei der X._ AG und von April 2002 bis Mai 2003 als Hilfsmonteur bei der A._ tätig. Nachdem er am 19. Januar 2003 mit seinem Personenwagen einen Verkehrsunfall erlitten hatte, in dessen Folge er laut Austrittsbericht der Klinik Y._ vom 17. Oktober 2003 nur noch für eine leichte, wechselbelastende Tätigkeit hälftig arbeitsfähig war, meldete er sich am 10. November 2003 bei der Invalidenversicherung zum Leistungsbezug an. Gestützt auf die beigezogenen Unterlagen sprach die IV-Stelle des Kantons Graubünden R._ mit Verfügung vom 9. Februar 2005 rückwirkend ab 1. Januar 2004 bei einem Invaliditätsgrad von 43 % eine Viertelsrente der Invalidenversicherung zu, woran sie auf Einsprache hin mit Entscheid vom 21. Juli 2006 festhielt. B. Die hiegegen eingereichte Beschwerde, mit welcher R._ die Zusprechung einer höheren Invalidenrente hatte beantragen lassen, wies das Verwaltungsgericht des Kantons Graubünden ab (Entscheid vom 7. November 2006). C. R._ lässt Verwaltungsgerichtsbeschwerde führen mit den Anträgen, unter Aufhebung des vorinstanzlichen Entscheides sei ihm rückwirkend ab 1. Januar 2004 bis 31. August 2004 und wiederum ab 1. November 2004 eine Dreiviertels-, eventuell eine halbe Rente der Invalidenversicherung zuzusprechen; subeventuell sei die Sache zu neuer Abklärung und Beurteilung an das kantonale Gericht zurückzuweisen. Während die IV-Stelle auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. 