Sachverhalt: A. Der 1962 geborene P._ arbeitete zuletzt von Juni 2001 bis März 2003 als Hilfsmonteur bei der Firma Z._, wo ihm aufgrund der Wirtschaftslage gekündigt worden ist. Im März 2005 meldete er sich unter Hinweis auf Kniebeschwerden bei der Invalidenversicherung zum Leistungsbezug (Berufsberatung, Umschulung, Arbeitsvermittlung und Hilfsmittel) an. Die IV-Stelle des Kantons St. Gallen lehnte das Leistungsbegehren, namentlich die beantragten beruflichen Massnahmen, mit Verfügung vom 13. Februar 2006 ab. Die Einsprache, mit welcher P._ die Zusprechung mindestens einer halben Invalidenrente beantragen liess, wies sie mit Einspracheentscheid vom 4. September 2006 ab. B. Die hiegegen erhobene Beschwerde, mit welcher P._ den im Einspracheverfahren gestellten Antrag erneuerte, hiess das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 19. Dezember 2006 teilweise gut und sprach dem Versicherten für die Zeit vom 1. September 2004 bis 28. Februar 2005 eine halbe und vom 1. März 2005 bis 30. November 2005 eine ganze Rente zu. C. Mit Verwaltungsgerichtsbeschwerde lässt P._ die Zusprechung einer halben Invalidenrente über den 30. November 2005 hinaus beantragen. Am 9. Februar 2007 lässt er einen Bericht des Dr. med. H._, Facharzt für Psychiatrie und Psychotherapie FMH, vom 2. Februar 2007 nachreichen. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. 