Sachverhalt: A. A.a X._ ist Eigentümer des Grundstückes Kat. Nr. 5713 (vormals Nr. 5586). Die Liegenschaft umfasst ein Mehrfamilienhaus und ist an der A._strasse Nr. 177 in B._ gelegen; die benachbarten Grundstücke Kat. Nr. 5584 an der A._strasse Nr. 173 und Kat. Nr. 5585 an der A._strasse Nr. 175 sind im Eigentum von Y._. Die drei Häuser sind zusammengebaut. Die gemeinsame Heiz- und Warmwasseranlage befindet sich im Haus Kat. Nr. 5585 (A._strasse Nr. 175). Im Grundbuch Blatt 2560 (Kataster Nr. 5713, vormals 5586) betreffend die Liegenschaft an der A._strasse Nr. 177 ist die Fernheizungsanlage als Dienstbarkeit, datiert vom 23. März 1963, zugunsten und zulasten der Liegenschaften Nr. 173 und 177 eingetragen, wobei auf das Servitutenprotokoll (SP) verwiesen wird, dessen massgebender Eintrag wie folgt lautet: "Der Eigentümer von Kat. Nr. 5585, in welchem Grundstück die Fernheizungsanlage sich befindet, verpflichtet sich gegenüber den jeweiligen Eigentümern von Kat. Nr. 5584 und 5586 den Bestand und Betrieb der Anlage, sowie die Vornahme von Reparaturen und Erneuerungen an dieser Fernheizungsanlage zu dulden. Die Eigentümer der Liegenschaften sind ferner verpflichtet, die durch ihre Grundstücke führenden Heizungsröhren in gleicher Weise stetsfort zu dulden." A.b Y._ stellte X._ während mehr als 20 Jahren einen Drittel der Heizungs- und Warmwasserkosten in Rechnung. 2007/2008 renovierte X._ seine Liegenschaft, weshalb sie seiner Ansicht nach nun weniger Energie verbraucht. A.c Anlässlich eines Forderungsprozesses zwischen den vorgenannten Parteien verpflichtete sich X._ in der Vereinbarung vom 28. August 2008, bis Ende Dezember 2008 einen Experten zu beauftragen, der den Energieverbrauch für Heizung und Warmwasser der drei Liegenschaften an der A._strasse Nr. 173 (Kat. Nr. 5584), Nr. 175 (Kat. Nr. 5585) und Nr. 177 (Kat. Nr. 5713) feststellt bzw. untersucht. Y._ wurde das Recht zu Ergänzungsfragen an den Experten eingeräumt, nach deren Beantwortung sich die Parteien verpflichteten, gestützt auf die Expertise ernsthaft zu versuchen, einen gerechten Verteilschlüssel für die Energiekosten festzulegen. Der beauftragte Experte schlug den Einbau von drei Wärmezählern vor, wozu Y._ indes nicht Hand bietet. B. B.a X._ gelangte in der Folge an das Bezirksgericht Zürich mit den Begehren, Y._ sei zu verpflichten, an der gemeinsamen Heizungsanlage im Haus Nr. 175 (Kat. Nr. 5585) drei Wärmezähler zur Ermittlung des Wärmeverbrauchs im Haus Nr. 177 (Kat. Nr. 5713) installieren und durch die beauftragte Firma in Betrieb nehmen und einen separaten Zähler zur Ermittlung des Umwälzpumpen- und Brennerstroms einbauen zu lassen. Y._ sei dazu zu verhalten, zwei Drittel der Installationskosten zu übernehmen. Mit Urteil vom 10. November 2010 verpflichtete das Bezirksgericht Y._ in teilweiser Gutheissung der Klage, X._ bzw. der von ihm beauftragten Person den Zugang zur Heizungsanlage im Haus Nr. 175 (Kat. Nr. 5585) zu gewähren, um diesem bzw. der beauftragten Person die Installation von drei Wärmezählern zur Ermittlung des Wärmeverbrauchs im Haus Nr. 177 (Kat. Nr. 5713) und eines separaten Zählers zur Feststellung des Umwälzpumpen- und Brennerstroms zu ermöglichen, und alle diesbezüglichen Arbeiten zu dulden. Im Übrigen wies das Bezirksgericht die Klage ab. B.b Gegen dieses Urteil gelangten beide Parteien je mit Berufung vom 2. Dezember 2010 bzw. 8. Dezember 2010 an das Obergericht des Kantons Zürich. X._ beantragte, Y._ sei in Abänderung von Ziff. 1 des erstinstanzlichen Urteils zu verpflichten, 2/3 der Kosten für die Installation der Wärmezähler und des Stromzählers zu tragen. Y._ schloss demgegenüber wie schon vor Bezirksgericht auf vollumfängliche Abweisung der Klage. Mit Urteil vom 24. November 2011 entsprach das Obergericht dem Berufungsantrag von Y._. C. X._ (Beschwerdeführer) gelangt mit Beschwerde in Zivilsachen vom 14. Dezember 2011 (Postaufgabe) an das Bundesgericht. Er beantragt, das obergerichtliche Urteil vom 24. November 2011 sei aufzuheben und Y._ (Beschwerdegegner) sei zu verpflichten, ihm bzw. der von ihm beauftragten Person den Zugang zur Heizungsanlage im Mehrfamilienhaus Nr. 175 (Kat. Nr. 5585) zu gewähren, damit er bzw. die von ihm beauftragte Person drei Wärmezähler zur Ermittlung des Wärmeverbrauchs im Haus Nr. 177 (Kat. Nr. 5713) und einen separaten Zähler zur Feststellung des Umwälzpumpen- und Brennstroms installieren könne. Der Beschwerdegegner sei zu verpflichten, alle diesbezüglichen Arbeiten zu dulden (Begehren 1). Im weiteren sei die Sache zur Neuverlegung der Kosten und zur Entscheidung über die Erstberufung des Beschwerdeführers an die Vorinstanz zurückzuweisen (Begehren 2). Es sind keine Vernehmlassungen eingeholt worden. 