Sachverhalt: A. Der 1953 geborene B._ arbeitete seit 1. Januar 2000 als EDV-Administrator bei der C._. Am 26. Juni 2005 zog er sich bei einem Sturz beim Fussballspielen eine intraligamentäre Patellarsehnenruptur zu. Er musste sich deswegen am gleichen Tag im Spital D._ einem operativen Eingriff unterziehen. Am 4. September 2006 meldete sich B._ bei der Invalidenversicherung zum Rentenbezug an. Gestützt auf Abklärungen in medizinischer und erwerblicher Hinsicht und die beigezogenen Akten der Schweizerischen Unfallversicherungsanstalt (SUVA) sowie des Krankentaggeldversicherers und nach Rücksprache mit dem regionalen ärztlichen Dienst ermittelte die IV-Stelle des Kantons Zürich einen Invaliditätsgrad von 39 %. Mit Verfügung vom 31. März 2008 lehnte sie daher das Rentengesuch ab. B. Die vom Versicherten hiegegen eingereichte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich nach Beizug der SUVA-Akten betreffend den Unfall vom 26. Juni 2005 mit Entscheid vom 8. November 2010 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt B._ beantragen, unter Aufhebung des vorinstanzlichen Entscheides sei ihm eine Invalidenrente zuzusprechen; eventuell sei die Sache zu ergänzenden medizinischen Abklärungen und neuer Verfügung an die IV-Stelle zurückzuweisen. Ferner ersucht er um die Bewilligung der unentgeltlichen Rechtspflege. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. 