Sachverhalt: Sachverhalt: A. D._ (geb. 1960) war von 1981 bis Ende Dezember 1995 als (selbstständiger) Innendekorateur tätig. Am 9. Februar 1996 meldete er sich wegen Rückenbeschwerden bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 30. November 2001 sprach ihm die IV-Stelle Basel-Stadt ab 1. September 1996 bei einem Invaliditätsgrad von 50 % eine halbe IV-Rente zu. Die daraufhin eingereichte Beschwerde hiess das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 23. September 2002 gut und wies die Sache zur Neubeurteilung an die IV-Stelle zurück. Nach Einholen eines rheumatologischen Gutachtens des Dr. med. J._, Facharzt FMH für Rheumatologie, vom 16. März 2005, für welchen Dr. med. L._, Facharzt FMH für Neurologie, am 8. März 2005 ein neurologisches Teilgutachten erstellt hatte, ermittelte die IV-Stelle einen Invaliditätsgrad von 55 % und hielt mit Verfügung vom 30. Mai 2005 an der halben IV-Rente ab 1. September 1996 fest. Dies bestätigte sie mit Einspracheentscheid vom 12. September 2006. A. D._ (geb. 1960) war von 1981 bis Ende Dezember 1995 als (selbstständiger) Innendekorateur tätig. Am 9. Februar 1996 meldete er sich wegen Rückenbeschwerden bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 30. November 2001 sprach ihm die IV-Stelle Basel-Stadt ab 1. September 1996 bei einem Invaliditätsgrad von 50 % eine halbe IV-Rente zu. Die daraufhin eingereichte Beschwerde hiess das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 23. September 2002 gut und wies die Sache zur Neubeurteilung an die IV-Stelle zurück. Nach Einholen eines rheumatologischen Gutachtens des Dr. med. J._, Facharzt FMH für Rheumatologie, vom 16. März 2005, für welchen Dr. med. L._, Facharzt FMH für Neurologie, am 8. März 2005 ein neurologisches Teilgutachten erstellt hatte, ermittelte die IV-Stelle einen Invaliditätsgrad von 55 % und hielt mit Verfügung vom 30. Mai 2005 an der halben IV-Rente ab 1. September 1996 fest. Dies bestätigte sie mit Einspracheentscheid vom 12. September 2006. B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 22. März 2007 ab. B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 22. März 2007 ab. C. D._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides sei die Sache zur weiteren Abklärung und Neubeurteilung an die IV-Stelle zurückzuweisen. Eventuell sei ihm ab 1. September 1996 eine ganze, ab 1. Januar 2004 allenfalls eine Dreiviertelsrente auszurichten. Die IV-Stelle Basel-Stadt schliesst auf Abweisung der Beschwerde. Vorinstanz und Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung. 