Sachverhalt: A. Der 1950 geborene F._ bezog seit Dezember 1996 eine ganze Invalidenrente. Zufolge Verbesserung der gesundheitlichen Verhältnisse und der Arbeitsfähigkeit setzte die IV-Stelle Luzern die ganze Rente mit Verfügung vom 29. Juni 2005 auf den 31. August 2005 revisionsweise auf eine Viertelsrente bei einem Invaliditätsgrad von 42 % herab, woran sie auf Einsprache hin mit Entscheid vom 16. November 2006 festhielt. B. Die von F._ hiegegen eingereichte Beschwerde wies das Verwaltungsgericht des Kantons Luzern mit Entscheid vom 28. November 2007 ab. C. F._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Anträgen, unter Aufhebung des vorinstanzlichen Entscheides sei ihm ab 1. September 2005 weiterhin eine ganze, allenfalls eine Dreiviertels- oder eine halbe Invalidenrente auszurichten; eventuell sei die Sache zu ergänzenden Abklärungen in medizinischer Hinsicht und neuer Verfügung über den Rentenanspruch an die Verwaltung zurückzuweisen; subeventuell sei die Invalidenrente erst auf den 1. Januar 2006 herabzusetzen. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. 