Sachverhalt: A. M._, geboren 1952, arbeitete als Maler. Im Januar 2001 erlitt er einen Hirninfarkt und war in der Folge während dreier Monate arbeitsunfähig. Bei einem Arbeitsunfall am 4. April 2002 verletzte er sich an der linken Schulter. Die SUVA erbrachte die gesetzlichen Leistungen. Am 10. April 2003 meldete er sich zum Bezug von Leistungen der Invalidenversicherung an. Mit Vorbescheid vom 18. Juni 2007 teilte ihm die IV-Stelle Basel-Stadt mit, bei einem Invaliditätsgrad von 100 % werde ab April 2003 eine ganze und bei einem solchen von 64 % ab September 2004 eine Dreiviertels-Invalidenrente ausgerichtet. Sie stützte sich dabei auf medizinische Abklärungen und kreisärztliche Berichte der SUVA sowie auf das von ihr in Auftrag gegebene Gutachten des Dr. med. F._, FMH Psychiatrie und Psychotherapie, vom 11. Juni 2007. Auf Einwände des Versicherten hin erliess sie am 22. und 27. Dezember 2007 entsprechende Verfügungen. B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 24. September 2008 ab. C. M._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, es sei ihm "ab August 2004" eine ganze Invalidenrente auszurichten; eventualiter sei die Sache zur Abklärung und Neubeurteilung an die IV-Stelle zurückzuweisen; ferner beantragt er die unentgeltliche Rechtspflege. Mit Verfügung vom 25. März 2009 weist das Bundesgericht das Gesuch um unentgeltliche Rechtspflege ab. Die IV-Stelle beantragt Abweisung der Beschwerde. Vorinstanz und Bundesamt für Sozialversicherungen verzichten auf Vernehmlassung. 