Sachverhalt: Sachverhalt: A. Der 1961 geborene F._ reiste im Juni 1990 in die Schweiz ein. Seit Mitte April 1992 arbeitete er bei der Gemeinde X._ - zunächst im Strassenunterhaltsdienst, später aufgrund eines zunehmenden Rückenleidens in der Abfallbewirtschaftung und -entsorgung. Die anhaltenden Beschwerden zwangen ihn ab Juni 2003, die Arbeit aufzugeben. Da er diese nicht wieder aufnahm, kündigte die Gemeinde X._ das Arbeitsverhältnis per Ende Dezember 2004 auf. Im März 2004 meldete sich F._ zum Leistungsbezug bei der Invalidenversicherung an. Die IV-Stelle Schwyz veranlasste die notwendigen medizinischen und beruflichen Abklärungen. Mit Verfügung vom 4. Oktober 2004 sprach sie ihm eine Berufsberatung und Abklärung der beruflichen Eingliederungsmöglichkeiten zu. Diese beruflichen Massnahmen wurden mit Verfügung vom 15. November 2004 abgeschlossen. Einen Rentenanspruch verneinte die IV-Stelle mit Verfügung vom 5. Oktober 2004. Die gegen die beiden letztgenannten Verfügungen erhobene Einsprache wurde nach Einholung des polydisziplinären Gutachtens bei der Medizinischen Abklärungsstelle (Medas) X._ vom 8. September 2005 mit Einspracheentscheid vom 23. Januar 2003 abgelehnt. Im März 2004 meldete sich F._ zum Leistungsbezug bei der Invalidenversicherung an. Die IV-Stelle Schwyz veranlasste die notwendigen medizinischen und beruflichen Abklärungen. Mit Verfügung vom 4. Oktober 2004 sprach sie ihm eine Berufsberatung und Abklärung der beruflichen Eingliederungsmöglichkeiten zu. Diese beruflichen Massnahmen wurden mit Verfügung vom 15. November 2004 abgeschlossen. Einen Rentenanspruch verneinte die IV-Stelle mit Verfügung vom 5. Oktober 2004. Die gegen die beiden letztgenannten Verfügungen erhobene Einsprache wurde nach Einholung des polydisziplinären Gutachtens bei der Medizinischen Abklärungsstelle (Medas) X._ vom 8. September 2005 mit Einspracheentscheid vom 23. Januar 2003 abgelehnt. B. Das Verwaltungsgericht des Kantons Schwyz wies die dagegen erhobene Beschwerde mit Entscheid vom 20. Juni 2006 ab. B. Das Verwaltungsgericht des Kantons Schwyz wies die dagegen erhobene Beschwerde mit Entscheid vom 20. Juni 2006 ab. C. F._ führt Verwaltungsgerichtsbeschwerde mit dem Antrag auf Zusprechung einer Invalidenrente. Eventuell sei die Sache zur Durchführung weiterer beruflicher Massnahmen an die Verwaltung zurückzuweisen. Während die IV-Stelle auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Stellungnahme. 