Sachverhalt: Mit Verfügungen vom 27. Oktober 2005, bestätigt mit Einspracheentscheid vom 9. Januar 2006, sprach die IV-Stelle des Kantons Zürich im Anschluss an das aufgrund des Urteils des Sozialversicherungsgerichts des Kantons Zürich vom 10. Mai 2004 eingeholte psychiatrische Gutachten des Dr. med. K._ vom 19. April 2005 B._ mit Wirkung ab 1. November 2003 zunächst eine Härtefallrente und ab 1. Februar 2004 gestützt auf einen Invaliditätsgrad von 56 % eine halbe Invalidenrente nebst Zusatzrente für die Ehefrau und eine Kinderrente zu. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 31. Juli 2006 ab. B._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides sei ihm "bis zu einer ganzen Rente zuzusprechen". Das gleichzeitig gestellte Gesuch um unentgeltliche Rechtspflege liess er infolge veränderter Umstände mit Eingabe vom 27. November 2006 zurückziehen. - Die IV-Stelle des Kantons Zürich schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. 