Sachverhalt: A. A.a. Am 19. Oktober 2010 gelangte X._ an die Eidgenössische Finanzmarktaufsicht (FINMA) und erhob Anzeige gegen die Bank Y._ AG in A._/ZH bzw. gegen deren Tochtergesellschaft, die Bank Z._ Ltd. mit Sitz in B._/Bahamas. Er machte geltend, er habe im Januar 2000 eine Bankbeziehung mit der Bank Y._ A._ eröffnet. Bereits im März 2000 habe diese Bank ihm empfohlen, die gesamte Bankbeziehung auf ihre Tochtergesellschaft, die Bank Z._ Bahamas zu übertragen. Dies habe er getan und bei dieser diverse Bank- und Wertschriftenkonten eröffnet. Die Bankdokumente seien in den Geschäftsräumlichkeiten der Bank Y._ A._ unterzeichnet worden. In den folgenden vier Jahren hätten auch alle Besprechungen in diesen Geschäftsräumlichkeiten stattgefunden. Alle Korrespondenz und die gesamte Betreuung sei durch Mitarbeiter der Bank Y._ A._ erfolgt. In diesen Geschäftsräumlichkeiten seien damit Bankdienstleistungen im Namen der Bank Z._ Bahamas erbracht worden, was einer faktischen Geschäftsniederlassung entspreche, obwohl sie dafür über keine Bewilligung der FINMA verfüge. Er ersuchte daher die FINMA, eine aufsichtsrechtliche Untersuchung gegen diese faktische Geschäftsniederlassung der Bank Z._ Bahamas einzuleiten und anschliessend gegebenenfalls die faktische Bankzweigniederlassung, allenfalls Bankrepräsentanz, zu liquidieren. A.b. Nachdem die FINMA X._ mitgeteilt hatte, er habe in einem allfälligen Verwaltungsverfahren keine Parteistellung und keine Akteneinsicht, beantragte X._ den Erlass einer beschwerdefähigen Verfügung. Mit Verfügung vom 11. Mai 2012 trat die FINMA auf das Gesuch um Gewährung der Parteistellung und Akteneinsicht nicht ein (recte: wies dieses ab). B. X._ erhob dagegen Beschwerde an das Bundesverwaltungsgericht mit dem Antrag, die Verfügung aufzuheben und ihm in den von der FINMA gegen die de-facto-Zweigniederlassung der Bank Z._ Bahamas in Zürich geführten Vorabklärungen oder Untersuchungen Parteistellung einzuräumen; dies unter Wahrung berechtigter Geheimhaltungsinteressen der betroffenen Banken und derer Kunden. Mit Urteil vom 13. Dezember 2012 wies das Bundesverwaltungsgericht die Beschwerde ab. C. Mit Eingabe vom 1. Februar 2013 erhebt X._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, das Urteil des Bundesverwaltungsgerichts aufzuheben und ihm in der von der FINMA gegen die de-facto-Zweigniederlassung in A._ der Bank Z._ Bahamas geführten Vorabklärung oder Untersuchung die Parteistellung nach Art. 6 VwVG einzuräumen, unter Wahrung berechtigter Geheimhaltungsinteressen. Das Bundesverwaltungsgericht verzichtet auf Vernehmlassung. Die FINMA beantragt Abweisung der Beschwerde. 