Sachverhalt: A. A.a. In der vom Kanton Zürich, Zentrale Inkassostelle der Gerichte/ Obergericht, gegen X._ eingeleiteten Betreibung Nr. 1 für die Forderung von Fr. 1'750.-- stellte das Betreibungsamt Kloten am 15. September 2010 den Zahlungsbefehl zu. Der Schuldner erhob Rechtsvorschlag. A.b. Am 18. Oktober 2010 verlangte der Betreibungsgläubiger beim Bezirksgericht Bülach, Einzelgericht, die definitive Rechtsöffnung für die Betreibungsforderung sowie für Kosten und Entschädigung. Als Rechtsöffnungstitel wurden zwei Entscheide des Obergerichts vom 22. Februar 2006 bzw. 14. August 2007 sowie der Beschluss des Handelsgerichts des Kantons Zürich vom 23. Februar 2010 vorgelegt, mit welchen X._ zur Bezahlung von Gerichtsgebühren von insgesamt Fr. 1'750.-- verpflichtet wurde. A.c. Mit Verfügung vom 18. Januar 2011 erteilte der Einzelrichter am Bezirksgericht wie anbegehrt die definitive Rechtsöffnung. B. Gegen den Rechtsöffnungsentscheid gelangte X._ an das Obergericht des Kantons Zürich und verlangte die Aufhebung der erstinstanzlichen Verfügung. Das Obergericht wies die Beschwerde mit Urteil vom 31. August 2011 ab, soweit darauf eingetreten wurde. C. Mit Eingabe vom 10. Oktober 2011 hat X._ "Beschwerde in Zivilsachen und subsidiäre Verfassungsbeschwerde" erhoben. Er beantragt die Feststellung einer Reihe von Rechtsverletzungen und die Aufhebung des Urteils des Obergerichts des Kantons Zürich vom 31. August 2011 und die Rückweisung der Sache zu neuer Entscheidung an den Rechtsöffnungsrichter. Weiter verlangt er die Gewährung der unentgeltlichen Rechtspflege für das kantonale Verfahren. Der Beschwerdeführer ersucht um aufschiebende Wirkung und unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren. Mit Präsidialverfügung vom 13. Oktober 2011 wurde mit Rücksicht auf das Gesuch um unentgeltliche Rechtspflege von der Einforderung eines Kostenvorschusses abgesehen und der Entscheid über das Gesuch ausgesetzt. Mit Verfügung der Instruktionsrichterin vom 12. Januar 2012 wurde das Gesuch um Mitteilung der Zusammensetzung der erkennenden Abteilung des Bundesgerichts im Sinne der Erwägung sowie das Gesuch um aufschiebende Wirkung abgewiesen; das Gesuch um Akteneinsicht wurde gutgeheissen. Das Gesuch um Wiedererwägung der Präsidialverfügung vom 13. Oktober 2011 betreffend unentgeltliche Rechtspflege wurde abgewiesen. Die Vorinstanz hat die Vorakten eingesendet und auf eine Stellungnahme in der Sache verzichtet. Der Staat Zürich als Betreibungsgläubiger und Beschwerdegegner hat sich nicht vernehmen lassen. 