Sachverhalt: A. Mit Verfügung vom 17. November 2006 verneinte die IV-Stelle des Kantons Zürich einen Anspruch des R._, geboren 1971, auf eine Invalidenrente und auf berufliche Massnahmen. B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 17. Januar 2008 ab. C. R._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des angefochtenen Entscheides sei die Sache zur ergänzenden psychiatrischen Abklärung an die Vorinstanz zurückzuweisen. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. 