Sachverhalt: A. X._ (Beschwerdeführer) war Eigentümer zweier unüberbauter Grundstücke in Z._. Er beabsichtigte, aus diesen Grundstücken einen Ertrag zu erwirtschaften. Zu diesem Zweck liess er sich von der Bank A._ (Beschwerdegegnerin) zwei Kredite im Gesamtbetrag von Fr. 1 Mio. ausrichten und stellte diese mit einem Namensschuldbrief über Fr. 1 Mio. sicher. Gleichzeitig handelte er mit der Beschwerdegegnerin einen Vermögensverwaltungsauftrag aus. Die Beschwerdegegnerin wurde damit beauftragt, die Kreditsumme so anzulegen, dass nach der Bezahlung der Kreditzinsen immer noch ein Ertrag bzw. ein Gewinn verbliebe. Im Jahr 2004 kam es zwischen den Parteien zu Meinungsverschiedenheiten. Im Juni 2004 kündigte die Beschwerdegegnerin die beiden Hypothekarkredite. Im Juni 2005 beendigte der Beschwerdeführer die Geschäftsbeziehungen mit der Beschwerdegegnerin. Er wies diese an, das Depot und das Konto zu saldieren und die verbleibenden Werte an die Bank B._ Luzern zu übertragen; diese übernahm auch den Schuldbrief und löste die Hypothekarkredite ab. B. Mit Klage vom 11. September 2006 beantragte der Beschwerdeführer beim Zivilgericht Basel-Stadt, die Beschwerdegegnerin sei zu verpflichten, ihm den Betrag von Fr. 780'000.-- nebst Zins zu bezahlen. Nach dem Scheitern des Vermittlungsverfahrens wies das Zivilgericht die Klage am 10. Juni 2009 ab. Eine gegen dieses Urteil erhobene Appellation des Beschwerdeführers vom 5. Oktober 2009 wies das Appellationsgericht des Kantons Basel-Stadt mit Entscheid vom 3. Februar 2012 ab. C. Der Beschwerdeführer beantragt mit Beschwerde in Zivilsachen, diesen Entscheid des Appellationsgerichts aufzuheben, und den Fall zur Ergänzung des Beweisverfahrens, zur Neubeurteilung im Sinne der Erwägungen sowie insbesondere zur Durchführung eines Vor- respektive Rechnungs- respektive Expertiseverfahrens gemäss § 70 aZPO/BS an die Vorinstanz, subeventualiter an das Zivilgericht zurückzuweisen. Die Vorinstanz und die Beschwerdegegnerin schliessen auf Abweisung der Beschwerde. Die Parteien haben Replik und Duplik eingereicht. 