Sachverhalt: A. Am 10. Dezember 2008 genehmigte die Gemeindeversammlung der politischen Gemeinde Schwyz den Voranschlag 2009. Dieser wies einen Verlust (Mehraufwand) von rund Fr. 2 Mio. auf. B. Im Frühjahr 2010 lud der Gemeinderat Schwyz die Stimmberechtigten der Gemeinde Schwyz zur ordentlichen Gemeindeversammlung für den 14. April 2010 ein. Traktandiert waren u.a. Nachkredite zulasten der Verwaltungsrechnung 2009 (Traktandum 9) und die Abnahme der Verwaltungsrechnung 2009 (Traktandum 10). Die Nachkredite umfassten u.a. eine ausserordentliche Abschreibung in Höhe von Fr. 1,1 Mio. für die Liegenschaften Altersheim Ibach. In der Botschaft zur Gemeindeversammlung wurde dazu ausgeführt, die Liegenschaften des Altersheims seien aufgrund der gesetzlich vorgeschriebenen Abschreibungssätze noch mit mehr als Fr. 1 Mio. bewertet. Die ausserordentliche Bilanzbereinigung (durch Abschreibung dieser Summe) rechtfertige sich, weil in absehbarer Zukunft ein Neubau realisiert werde und das gute Ergebnis der Rechnung 2009 die Vorwegnahme dieser Abschreibung zulasse. C. An der Gemeindeversammlung meldete sich X._ zu Wort und stellte im Namen der FDP der Gemeinde Schwyz den Antrag, dass die zusätzlichen Abschreibungen für die Liegenschaften Altersheim Ibach nicht zu genehmigen seien. Die Nachkredite seien um diesen Betrag (Fr. 1'078'599.--) zu kürzen (Traktandum 9); dementsprechend erhöhe sich das Eigenkapital auf neu Fr. 24'594'275.43 (Traktandum 10). Dieser Antrag wurde im offenen Handmehr mit deutlichem Mehr abgelehnt. D. Am 26. April 2010 erhob X._ beim Verwaltungsgericht des Kantons Schwyz Stimmrechtsbeschwerde mit dem Begehren, der Beschluss der Gemeindeversammlung Schwyz vom 14. April 2010 betreffend die Nachkredite zulasten der Verwaltungsrechnung 2009 (Traktandum 9) sowie über die Genehmigung der Verwaltungsrechnung 2009 (Traktandum 10) seien aufzuheben. Das Verwaltungsgericht holte einen Amtsbericht des Vorstehers des kantonalen Finanzdepartements zur Abschreibungspraxis ein. Am 21. September 2010 wies es die Beschwerde ab. E. Dagegen hat X._ am 28. Oktober 2010 Stimmrechtsbeschwerde ans Bundesgericht erhoben. Er beantragt, der angefochtene Entscheid sei aufzuheben und die Angelegenheit zur Neubeurteilung an das Verwaltungsgericht zurückzuweisen. Der Gemeinderat Schwyz und das Verwaltungsgericht beantragen die Abweisung der Beschwerde (soweit darauf einzutreten sei). In seiner Replik vom 17. Februar 2011 hält der Beschwerdeführer an seinen Anträgen fest. 