Sachverhalt: A. Der 1953 geborene E._ war nach einer längeren Zeit, während welcher er arbeitslos war, in den Jahren 2003 bis 2005 bei der Firma O._ AG als Hilfsarbeiter tätig. Danach bezog er wieder Arbeitslosenentschädigung und in der Zeit vom 7. September 2006 bis 5. Februar 2008 Leistungen einer Krankentaggeldversicherung. Am 20. März 2008 meldete sich E._ wegen Arthrose und psychischen Beschwerden bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich holte die medizinischen Akten, insbesondere des behandelnden Hausarztes, Dr. med. R._ der von diesem eingesetzten Psychotherapeutin, C._, des Dr. med. G._, Facharzt für orthopädische Chirurgie FMH und der Chirurgischen Klinik, Abteilung Urologie des Spitals W._, ein. Im Weiteren liess sie den Versicherten durch Dr. med. K._, Facharzt für Psychiatrie und Psychotherapie, begutachten. Gestützt auf die Expertise vom 13. Juli 2009 verneinte die IV-Stelle mit Verfügung vom 20. November 2009 einen Rentenanspruch, da E._ für die zuletzt ausgeübte Tätigkeit im Transportdienst voll arbeitsfähig sei. B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 31. Mai 2011 ab. C. E._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des kantonalen Entscheides seien sowohl in somatischer als auch in psychiatrischer Hinsicht weitere medizinische Sachverhaltsabklärungen durchzuführen. In prozessualer Hinsicht ersucht er um eine parteiöffentliche Verhandlung. Im Weiteren sei ihm die Gelegenheit zu einer Replik einzuräumen. Die IV-Stelle verzichtet mit Hinweis auf die Begründung des angefochtenen Entscheides auf eine Vernehmlassung. Das Bundesamt für Sozialversicherungen lässt sich nicht vernehmen. D. Mit unaufgeforderter Eingabe vom 24. Oktober 2011 lässt E._ einen Bericht seines behandelnden Psychiaters vom 19. Oktober 2001 auflegen. 