Sachverhalt: A. F._, geboren 1961, gelernter Metzger, arbeitete seit 1995 in der Metzgerei X._ AG. Am 23. Dezember 2008 meldete er sich unter Hinweis auf unfallbedingte Knieschäden bei der IV-Stelle Schwyz zum Leistungsbezug an. Nach durchgeführtem Vorbescheidverfahren lehnte die IV-Stelle mit Verfügung vom 17. Oktober 2011 den Rentenanspruch ab (Invaliditätsgrad von 21 %). B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 28. Juni 2012 ab. C. F._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen. Er beantragt, der Entscheid des Verwaltungsgerichts sei aufzuheben. Die Sache sei an die Vorinstanz (eventualiter an die IV-Stelle) zurückzuweisen, damit sie weitere Abklärungen vornehme und hernach neu entscheide. Vorinstanz, IV-Stelle und Bundesamt für Sozialversicherungen verzichten auf Vernehmlassung. 