Sachverhalt: A. Mit Verfügung vom 8. November 1999 sprach die IV-Stelle Schwyz dem 1956 geborenen I._ bei einem Invaliditätsgrad von 56 % ab 1. Februar 1997 eine halbe Rente der Invalidenversicherung zu. Am 16. Mai 2003 und am 3. Mai 2007 lehnte es die IV-Stelle ab, diese Rente revisionsweise zu erhöhen. Am 17. Mai 2009 beantragte der Versicherte, seine Rente sei ab 1. Oktober 2008 auf eine ganze Rente zu erhöhen. Die IV-Stelle holte daraufhin ein interdisziplinäres Gutachten bei der Medizinischen Abklärungsstelle X._ ein (Gutachten vom 21. Juli 2010). Mittels Vorbescheid vom 26. November 2010 stellte die IV-Stelle in Aussicht, die Rente rückwirkend ab 1. April 2009 auf eine ganze Rente zu erhöhen, was sie am 18. Januar 2011 verfügte. Mit Schreiben vom 6. Dezember 2010 forderte die IV-Stelle den Versicherten auf, sich einer knietotalendoprothetischen Versorgung zu unterziehen. Innerhalb von drei Monaten ab Erhalt des Schreibens habe der Versicherte der IV-Stelle mitzuteilen, wann und wo diese Operation durchgeführt wird. Es sei vorerst eine einseitige Knieprothesenimplantation durchzuführen, welche innerhalb von sechs Monaten ab Erhalt des Schreibens zu erfolgen habe, nach einem weiteren halben Jahr sei dann die Operation des anderen Knies durchzuführen. Sollte der Versicherten dieser Aufforderung nicht uneingeschränkt nachkommen, so würde die IV-Stelle aufgrund der Akten entscheiden und voraussichtlich die Rentenzahlungen reduzieren oder einstellen. Am 24. Januar 2011 erhob der Versicherte gegen diese Aufforderung Einwände und verlangte, es sei eine formelle Verfügung zu erlassen. In einem als Verfügung bezeichneten Schreiben vom 2. Februar 2011 bestätigte die IV-Stelle ihre Haltung, der Versicherte habe sich einer knietotalendoprothetischen Versorgung zu unterziehen. B. Auf die von I._ hiegegen erhobene Beschwerde trat das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 17. Mai 2011 nicht ein. C. Mit Beschwerde beantragt I._, die Sache sei unter Aufhebung des kantonalen Gerichtsentscheides an die Vorinstanz zurückzuweisen, damit diese einen materiellen Entscheid über seine Beschwerde vom 9. März 2001 fälle. Während die IV-Stelle Schwyz auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. 