Sachverhalt: A. Der 1961 geborene C._ arbeitete seit 1988 als Bade- beziehungsweise Eismeister in einem Sportzentrum in X._. Seit Oktober 2001 amtete er darüber hinaus als Hausmeister. Am 26. Juni 2003 meldete er sich wegen seit dem 24. August 2002 bestehenden Rückenbeschwerden (Diskushernie) zum Bezug einer Rente bei der Invalidenversicherung an. Die IV-Stelle zog verschiedene Arztzeugnisse bei und liess den Versicherten an der Klinik Y._ (Expertise vom 13. Dezember 2004 inklusive einer funktionellen Leistungsprüfung) und durch Dr. med. H._, Facharzt für Psychiatrie (Expertise vom 24. Mai 2005), begutachten. Mit Verfügung vom 16. Februar 2006 sprach sie C._ ab 1. September 2005 eine Viertelsrente und ab 1. Dezember 2005 eine halbe Rente nebst Zusatzrenten zu. Auf Einsprache hin verfügte die IV-Stelle mit Entscheid vom 28. Dezember 2006, der Versicherte habe vom 1. August 2003 bis 31. Mai 2004 Anspruch auf eine ganze Rente und ab 1. Januar 2005 auf eine halbe Rente der Invalidenversicherung. Das in der Folge angerufene Obergericht des Kantons Schaffhausen hiess eine gegen den Einspracheentscheid gerichtete Beschwerde, mit welcher auch nach dem 1. Juni 2004 die Ausrichtung einer ganzen Rente beantragt worden war, mit Entscheid vom 1. Juni 2007 in dem Sinne teilweise gut, als es den Anspruchsbeginn der halben Rente auf den 1. Juni 2004 festsetzte. Das Bundesgericht hob den Entscheid des Obergerichts auf Beschwerde hin auf, und wies die Sache zu neuem Entscheid an die Vorinstanz zurück (Urteil vom 29. August 2007). B. Das Obergericht des Kantons Schaffhausen hiess mit Entscheid vom 26. Oktober 2007 die Beschwerde gegen den Einspracheentscheid vom 28. Dezember 2006 erneut in dem Sinne teilweise gut, als es den Anspruchsbeginn für die halbe Rente auf den 1. Juni 2004 ansetzte. Im übrigen wies es die Beschwerde ab. C. C._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und sinngemäss beantragen, es sei ihm auch ab 1. Juni 2004 eine ganze, eventuell eine Dreiviertelsrente zuzusprechen. Die IV-Stelle und das Bundesamt für Sozialversicherungen verzichten auf Vernehmlassung. 