Sachverhalt: A. Der 1949 geborene M._ meldete sich im September 2003 bei der Invalidenversicherung an und beantragte Umschulung und eine Rente. Nach Abklärungen u.a. zum Gesundheitszustand und zur Arbeitsfähigkeit aus psychiatrischer Sicht lehnte die IV-Stelle des Kantons Zürich mit Verfügung vom 7. März 2005 das Leistungsbegehren ab, was sie mit Einspracheentscheid vom 26. April 2006 bestätigte. B. Die Beschwerde des M._ wies das Sozialversicherungsgericht des Kantons Zürich nach zweifachem Schriftenwechsel und nach Einholung eines rheumatologischen Berichts, wozu die Parteien Stellung nehmen konnten, mit Entscheid vom 21. November 2007 ab. C. M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Rechtsbegehren, der Entscheid vom 21. November 2007 sei aufzuheben und es sei ihm aufgrund des Ergebnisses einer interdisziplinären Begutachtung eine Rente zuzusprechen; eventuell sei die Sache zu weiteren Abklärungen im Sinne der Erwägungen und zur neuen Entscheidung an das kantonale Gericht zurückzuweisen. Die IV-Stelle beantragt die Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. 