Sachverhalt: A. Der 1949 geborene M._ war ab dem 26. Juni 1978 bei der Klinik X._ als Diensthandwerker angestellt. Die Klinik X._ kündigte das Arbeitsverhältnis auf den 30. September 1995. Am 28. Februar 1996 meldete sich M._ wegen eines Rückenleidens zum Bezug von Leistungen bei der Invalidenversicherung an. Mit Verfügung vom 5. März 1997 verneinte die IV-Stelle des Kantons Zürich einen Anspruch auf Versicherungsleistungen. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 9. Juni 1999 ab. Der Versicherte beantragte am 7. September 2001 bei der IV-Stelle eine Neubeurteilung der Sache. Die IV-Stelle des Kantons Zürich sprach am 4. April 2003 rückwirkend ab 1. Juli 2002 verfügungsweise eine ganze Invalidenrente zu. Das Gesuch vom 20. Oktober 2004 um Ausrichtung reglementarischer Leistungen aus beruflicher Vorsorge beschied die Beamtenversicherungskasse des Kantons Zürich (BVK) mit Schreiben vom 10. März 2005 wegen Fehlens der Versicherteneigenschaft abschlägig. B. Am 24. Januar 2006 liess M._ gegen die BVK Klage einreichen und beantragen, es sei rückwirkend ab dem 1. Juli 2002 eine ganze Invalidenrente zuzüglich Verzugszinsen ab Klageerhebung auszurichten. Das Sozialversicherungsgericht des Kantons Zürich wies die Klage mit Entscheid vom 31. Oktober 2007 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt M._ das vorinstanzlich gestellte Rechtsbegehren erneuern. Die BVK schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Stellungnahme. 