Sachverhalt: Mit Verfügung vom 19. November 2004 lehnte die IV-Stelle des Kantons Zürich ein Leistungsgesuch des T._ (geb. 1950) ab. Diese Verfügung bestätigte sie mit Einspracheentscheid vom 12. Januar 2005. Die dagegen erhobene Beschwerde zog T._ zurück. Auf ein neues Gesuch trat die IV-Stelle mit Verfügung vom 27. September 2005 nicht ein und hielt daran mit Einspracheentscheid vom 14. März 2006 fest. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 21. Juli 2006 ab. Zugleich wies es das Gesuch des T._ um unentgeltliche Verbeiständung ab. T._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, die IV-Stelle sei zu verpflichten, auf das neue Leistungsgesuch einzutreten. Sodann sei ihm für das kantonale Verfahren die unentgeltliche Verbeiständung zu bewilligen. Für den vorliegenden Prozess ersucht er um unentgeltliche Prozessführung. Mit Zwischenentscheid vom 27. November 2006 lehnte das Eidgenössische Versicherungsgericht die unentgeltliche Prozessführung wegen Aussichtslosigkeit ab und setzte T._ Frist zur Leistung eines Kostenvorschusses. Nach Eingang desselben wurde der Schriftenwechsel fortgesetzt. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet. 