Sachverhalt: A. Der 1948 geborene M._ meldete sich am 11. Oktober 2010 zum Leistungsbezug bei der Invalidenversicherung an. Er hatte sich am 18. Januar 2010 wegen Spätfolgen eines 1975 erlittenen Unfalls mit "unhappy Trias" rechts mit mehrfragmentärer Tibiakopffraktur eine Knietotalprothese einsetzen lassen müssen. Die IV-Stelle Luzern holte die Akten der für den Unfall zuständigen Schweizerischen Unfallversicherungsanstalt (SUVA) sowie Berichte des Dr. med. B._, Oberarzt Orthopädie am Spital X._ und der Dr. med. D._, Fachärztin für Innere Medizin FMH, ein. Mit Verfügung vom 2. September 2011 teilte sie dem Versicherten mit, bei einem ermittelten Invaliditätsgrad von 6 % habe er keinen Anspruch auf eine Invalidenrente. B. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Luzern (heute: Kantonsgericht Luzern) mit Entscheid vom 27. März 2013 ab. C. M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, unter Aufhebung des vorinstanzlichen Entscheides sei ihm ab 1. April 2011 eine ganze Rente auszurichten; eventuell sei die Sache zur Einholung eines medizinischen Gutachtens und anschliessendem neuen Entscheid an das kantonale Gericht zurückzuweisen. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. 