Sachverhalt: A. Der 1971 geborene G._ hat verschiedene Ausbildungen insbesondere im Kunstbereich absolviert und betätigte sich danach als frei schaffender Künstler sowie vorübergehend als Kursleiter. Im Juni 2006 meldete er sich unter Hinweis auf "Suchtproblematik, psychische Instabilität, psychische Probleme" bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Appenzell Ausserrhoden traf erwerbliche und medizinische Abklärungen (u.a. Einholung des psychiatrischen Gutachtens der Klinik X._ vom 20. Juli 2007). Mit Verfügung vom 8. November 2007 verneinte sie einen Rentenanspruch mit der Begründung, die diagnostizierte spezifische isolierte Phobie (im Sinne einer Miktionsphobie) wirke sich nicht relevant auf die Arbeitsfähigkeit aus und die bestehende Suchtproblematik bewirke nach der Rechtsprechung keine leistungsbegründende Invalidität. B. Die von G._ hiegegen erhobene Beschwerde mit dem Antrag auf Zusprechung mindestens einer halben Invalidenrente wies das Verwaltungsgericht von Appenzell Ausserrhoden mit Entscheid vom 22. Mai 2008 ab. C. G._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, es sei der kantonale Entscheid aufzuheben und mit Wirkung ab Juni 2005 mindestens eine halbe Invalidenrente zuzusprechen, eventuell die Sache im Sinne der Erwägungen an die Verwaltung oder die Vorinstanz zurückzuweisen. Die IV-Stelle beantragt die Abweisung der Beschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. 