Sachverhalt: A. Mit Verfügung vom 5. September 2003 sprach die IV-Stelle Schwyz dem bis zu einem Unfall am 22. November 1999 als Vorarbeiter beim Tiefbauamt der Stadt X._ tätig gewesenen Z._, geboren 1946, ab 1. November 2000 bei einem Invaliditätsgrad von 64 % eine halbe Rente nebst Kinderrenten zu. Sie hatte zuvor ein Gutachten der Medizinischen Abklärungsstelle (MEDAS vom 31. März 2003) eingeholt, welches zum Ergebnis kam, Z._ sei aus rheumatologischen Gründen in der angestammten Tätigkeit als Strassenbau-Vorarbeiter zu 100 % arbeitsunfähig, für körperlich leichte, wechselbelastende Beschäftigungen ohne Überkopfarbeiten und kraftaufwändige repetitive Tätigkeiten mit dem rechten Arm zu 50 %. Am 7. Mai 2004 verfügte die IV-Stelle den Anspruch auf eine Dreiviertelsrente ab 1. Januar 2004. Nachdem sie Kenntnis davon erhielt, dass Z._ auf einer Baustelle gearbeitet hatte, verfügte sie am 14. November 2007 bei einem Invaliditätsgrad von 34 % die Aufhebung der Rente rückwirkend auf den 30. September 2006. B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 20. Mai 2008 ab. C. Z._ liess Beschwerde in öffentlich-rechtlichen Angelegenheiten einreichen und beantragen, es sei ihm weiterhin mindestens eine Dreiviertelsrente zuzusprechen; eventualiter sei die Sache zur Ergänzung und Neubeurteilung an die Vorinstanz zurückzuweisen; der Beschwerde sei die aufschiebende Wirkung zu erteilen. D. Der Beschwerdeführer verstarb am 15. Juli 2008, weshalb das Verfahren mit Verfügung vom 22. August 2008 sistiert wurde (Art. 71 BGG i.V.m. Art. 6 Abs. 2 BZP). Am 5. März 2009 teilte der Rechtsvertreter des Verstorbenen den Eintritt der Erben in das Verfahren mit, worauf am 12. März 2009 die Fortsetzung des Prozesses verfügt wurde. Die IV-Stelle schliesst auf Abweisung der Beschwerde. Vorinstanz und Bundesamt für Sozialversicherungen verzichten auf Vernehmlassung. 