Sachverhalt: A. X._ schloss 1988 die Ausbildung zum eidg. dipl. Bücherexperten (heute eidg. dipl. Wirtschaftsprüfer) ab. Er ist (einziger) Verwaltungsrat und Aktionär mit Stimmenmehrheit an der Y._ AG (vormals A._ AG). Am 19. September 2007 gewährte ihm die Eidgenössische Revisionsaufsichtsbehörde die Zulassung als Revisionsexperte. B. Im Oktober 2007 brachte die Stiftungsaufsichtsbehörde des Kantons Basel-Stadt der Eidgenössischen Revisionsaufsichtsbehörde zur Kenntnis, dass X._ in mehrere Schadenfälle bei Vorsorgeeinrichtungen verwickelt sei. Nach verschiedenen Sachverhaltsabklärungen und Gewährung des rechtlichen Gehörs entzog die Eidgenössische Revisionsaufsichtsbehörde mit Verfügung vom 21. Oktober 2009 X._ die Zulassung als Revisionsexperte wieder, dies auf unbefristete Zeit und unter gleichzeitiger Löschung im Revisorenregister. Die Aufsichtsbehörde erwog, im Zusammenhang mit mehreren Zivilverfahren (und drei - inzwischen eingestellten - Strafverfahren) habe sich ergeben, dass sich X._ mehrfache (in einem Fall im Kernbereich seiner Aufgaben als Revisor schwere) Pflichtverletzungen habe zuschulden kommen lassen. So sei im Falle einer der Vorsorge dienenden Stiftung die Verletzung von Anlagevorschriften bewusst in Kauf genommen worden. Auch fielen mehrfache Verletzungen der Meldepflichten gegenüber der Stiftungsaufsichtsbehörde ins Gewicht. Schliesslich sei - im Zusammenhang mit je reziproker Revisionsstellentätigkeit der Y._ AG und einer weiteren Gesellschaft - erstellt, dass X._ mehrfach und über Jahre hinweg gegen die massgebenden gesetzlichen und berufsrechtlichen Unabhängigkeitsvorschriften verstossen habe. Mithin fehle es X._ am erforderlichen unbescholtenen Leumund im berufsrelevanten Bereich; er biete zum heutigen Zeitpunkt keine Gewähr für eine einwandfreie Prüftätigkeit. Mit Urteil vom 3. Juni 2010 wies das Bundesverwaltungsgericht eine gegen diese Verfügung erhobene Beschwerde ab. C. Mit Eingabe vom 12. Juli 2010 führt X._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Anträgen, das genannte Urteil sowie die diesem zugrunde liegende Verfügung aufzuheben, eventuell die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Die Eidgenössische Revisionsaufsichtsbehörde beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Das Bundesverwaltungsgericht verzichtet auf Vernehmlassung. 