Sachverhalt: A. A.a Der 1947 geborene K._ arbeitete als gelernter Koch im Pflegeheim S._. Am 31. Oktober 2003 meldete er sich mit dem Hinweis auf eine seit dem 27. November 2002 bestehende Arbeitsunfähigkeit infolge Schmerzen in der Hals- und Lendenwirbelsäule nach einem (angeblichen) Schleudertrauma und Arthrosen an den Gelenken bei der Invalidenversicherung zum Bezug einer Rente an. Die IV-Stelle Luzern holte verschiedene medizinische Berichte ein und nahm die medizinischen Unterlagen der als UVG-Versicherung involvierten Basler Versicherungs-Gesellschaft (Basler) mit einem Gutachten der Klinik X._ vom 29. März 2005 zu den Akten. Das Arbeitsverhältnis mit dem Pflegeheim S._ wurde auf den 31. Mai 2004 aufgelöst, nachdem der Versicherte seinen Vorgesetzten Mitte Februar 2004 mitgeteilt hatte, eine Rückkehr an seinen Arbeitsplatz werde ihm aus gesundheitlichen Gründen mit grösster Wahrscheinlichkeit nicht mehr möglich sein. Mit Verfügung vom 12. Oktober 2006 sprach die IV-Stelle K._ ab 1. November 2003 eine halbe Rente bei einem Invaliditätsgrad von 54 %, ab 1. April 2004 - entsprechend einer Übergangsfrist von drei Monaten nach einem Autounfall vom 4. Januar 2004 - eine ganze und ab 1. Oktober 2004 - nach einer Verbesserung des Gesundheitszustandes im Sommer 2004 - wiederum eine halbe Rente zu. Das Verwaltungsgericht des Kantons Luzern hob diese Verfügung auf Beschwerde hin auf und wies die Sache zur weiteren medizinischen Abklärung an die IV-Stelle zurück. A.b Die IV-Stelle holte in der Folge beim ärztlichen Begutachtungsinstitut Z._ eine polydisziplinäre Expertise vom 25. Oktober 2007 ein. Gestützt auf die darin gemachten Feststellungen sprach die IV-Stelle K._ mit Verfügung vom 20. August 2008 ab 1. April 2004 eine Viertelsrente und eine vom 1. Juli bis 1. Oktober 2004 befristete ganze Rente zu. Mit einer weiteren Verfügung vom 17. September 2008 ermittelte die Invalidenversicherung zudem einen an den Versicherten und seine ebenfalls eine Invalidenrente beziehende Ehefrau zu viel ausbezahlten Betrag von Fr. 15'921.-, auf dessen Rückforderung sie aber verzichtete. B. Mit Entscheid vom 1. September 2009 wies das Verwaltungsgericht Luzern eine gegen die Rentenverfügung erhobene Beschwerde ab, soweit es darauf eintrat. Darüber hinaus lehnte das Gericht auch den Antrag ab, die Invalidenversicherung habe K._ die Kosten eines von ihm in Auftrag gegebenen Gutachtens der Gutachtenstelle Y._ vom 19. September 2008 in der Höhe von Fr. 16'826.80 zu erstatten. C. K._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des angefochtenen Entscheids sei ihm ab 1. November 2003 eine ganze Rente, eventuell eine halbe Rente vom 1. November 2003 und eine ganze ab 1. April 2004 auszurichten. Im weiteren habe ihm die IV-Stelle - in Solidarität mit der Basler Versicherung als UVG Versicherung - die Kosten für das Gutachten der Gutachtenstelle Y._ zu erstatten. Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. 