Sachverhalt: Mit Verfügung vom 10. November 1995 lehnte die IV-Stelle des Kantons Appenzell Ausserrhoden das Gesuch von D._ (geb. 1965) um IV-Leistungen ab. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht von Appenzell Ausserrhoden mit Entscheid vom 19. Juni 1996 ab. Auf Verwaltungsgerichtsbeschwerde hin wies das Eidgenössische Versicherungsgericht die Sache mit Urteil vom 29. September 1999 zu näheren Abklärungen im Sinne der Erwägungen an das kantonale Gericht zurück. Dieses lehnte den Leistungsanspruch von D._ mit Entscheid vom 22. November 2000 erneut ab. Die dagegen erhobene Verwaltungsgerichtsbeschwerde wies das Eidgenössische Versicherungsgericht mit Urteil vom 29. April 2002 ab. Auf ein neues Leistungsgesuch von D._ hin bejahte die IV-Stelle mit Verfügung vom 19. Juli 2002 den Anspruch auf Berufsberatung und Arbeitsvermittlung, hob diesen aber mit Verfügung vom 15. Januar 2003 wegen fehlender Bereitschaft von D._ zur Mitarbeit wieder auf. Diese Verfügung bestätigte die IV-Stelle mit Einspracheentscheid vom 17. Juli 2003. Gleichzeitig verneinte sie einen Anspruch auf medizinische Massnahmen. Die hiegegen eingereichte Beschwerde wies das Verwaltungsgericht von Appenzell Ausserrhoden mit Entscheid vom 24. März 2004 ab. D._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Rechtsbegehren, die Sache sei zur Neubeurteilung des Anspruchs auf Eingliederungsmassnahmen an die IV-Stelle zurückzuweisen. Die IV-Stelle beantragt, die Sache sei bezüglich medizinischer Massnahmen zu neuer Verfügung an sie zurückzuweisen; eventuell sei der Anspruch auf die genannten Vorkehren zu verneinen. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung. 