Sachverhalt: A. Der 1975 geborene K._ meldete sich im November 2002 unter Hinweis auf seit einem Autounfall im Jahr 1995 bestehende Beschwerden bei der Invalidenversicherung zum Rentenbezug an. Die IV-Stelle des Kantons Zürich tätigte medizinische und berufliche Abklärungen; namentlich holte sie ein Gutachten des Medizinischen Zentrums X._ (MZX) vom 5. November 2004 ein und zog die Akten der Unfallversicherung bei. Mit Verfügung vom 25. November 2004 verneinte die IV-Stelle einen Rentenanspruch mangels eines leistungsbegründenden Invaliditätsgrades. Die dagegen erhobene Einsprache hiess sie teilweise gut und sprach dem Versicherten rückwirkend ab 1. November 2002 unter Annahme eines Invaliditätsgrades von 46 % eine Viertelsrente zu (Einspracheentscheid vom 10. August 2005). B. Das Sozialversicherungsgericht des Kantons Zürich wies die gegen den Einspracheentscheid eingereichte Beschwerde nach Gewährung der unentgeltlichen Verbeiständung mit Entscheid vom 5. Dezember 2006 ab. C. K._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, in Aufhebung des angefochtenen Entscheides sei ihm eine Invalidenrente auf der Grundlage eines Invaliditätsgrades von mindestens 60 % auszurichten. Weiter wird um Gewährung der unentgeltlichen Rechtspflege für das letztinstanzliche Verfahren ersucht. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherungen auf eine Stellungnahme verzichtet. Mit nachträglicher Eingabe vom 2. Juni 2007 reicht der Versicherte sanitätsdienstliche Akten und einen Bericht des Psychiatrischen Zentrums Y._ vom 11. Dezember 2006 ein. Am 27. September 2007 wies das Bundesgericht das Gesuch um unentgeltliche Rechtspflege ab. 