Sachverhalt: A. Der 1950 geborene N._ arbeitete zuletzt ab 1999 als Chef de Service/Kellner im Restaurant G._. Im Dezember 2004 meldete er sich unter Hinweis auf eine nach einem Unfall vom 31. Dezember 2002 aufgetretene Lumboischialgie bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Basel-Stadt zog die Akten des zuständigen obligatorischen Unfallversicherers bei, traf erwerbliche Abklärungen und holte Berichte der behandelnden Ärzte sowie ein rheumatologisches-psychiatrisches Gutachten der Dres. med. J._ und S._ vom 17. Januar 2007 (mit Ergänzung Dr. med. S._ vom 13. August 2007) ein. Gestützt darauf verneinte sie mit Verfügung vom 25. Juli 2007 einen Anspruch auf eine Invalidenrente mangels eines leistungsbegründenden Invaliditätsgrades. B. Die von N._ hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 14. Mai 2008 ab. C. N._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, in Aufhebung des kantonalen Entscheides sei die Sache zur Neubeurteilung an die Verwaltung zurückzuweisen. Weiter wird um unentgeltliche Rechtspflege für das letztinstanzliche Verfahren ersucht. Die IV-Stelle beantragt die Abweisung der Beschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. 