Sachverhalt: A. X._ wurde am 26. August 2011 im Rahmen einer Strafuntersuchung inhaftiert und in der Folge vom Zwangsmassnahmengericht des Kantons Aargau in Untersuchungshaft gesetzt. Er wird verdächtigt, eine Frau in der Nacht vom 25. auf den 26. August 2011 geschlagen und ihr Fr. 1'900.-- Bargeld sowie ein Mobiltelefon abgenommen zu haben. Am 7. September 2011 verlängerte das Zwangsmassnahmengericht die Untersuchungshaft bis am 5. Dezember 2011. Eine von X._ gegen die Haftverlängerung erhobene Beschwerde wies das Obergericht des Kantons Aargau am 22. September 2011 ab. B. Das Bundesgericht hiess eine von X._ gegen den Entscheid des Obergerichts vom 22. September 2011 erhobene Beschwerde am 2. November 2011 gut und entschied, dieser sei unverzüglich aus der Untersuchungshaft zu entlassen (Urteil 1B_570/2011). Zur Begründung führte es aus, der Haftgrund der Ausführungsgefahr sei nicht gegeben und den Haftgrund der Wiederholungsgefahr habe das Zwangsmassnahmengericht verneint, wogegen die Staatsanwaltschaft im Verfahren vor dem Obergericht und im bundesgerichtlichen Verfahren nichts vorgebracht habe. C. Am 21. Dezember 2011 übernahm die Staatsanwaltschaft Baden von der Staatsanwaltschaft Bern-Seeland ein weiteres Untersuchungsverfahren gegen X._. In diesem Zusammenhang wird X._ verdächtigt, eine andere Frau dazu gebracht zu haben, zwischen dem 23. Dezember 2010 und dem 16. Februar 2011 mehrfach zu seinen Gunsten Geld von ihrem Konto abzuheben. Ausserdem solle er sie genötigt haben, eine Vollmacht zu unterschreiben, wonach ihr Gehalt von ihrem Arbeitgeber direkt auf sein Konto überwiesen werden sollte. Am 16. Februar 2011 soll X._ Fr. 2'000.-- vom Konto der Frau abgehoben und sie während eineinhalb Stunden in seiner Wohnung eingeschlossen haben. Anschliessend soll er ihr gegenüber gewalttätig geworden sein und sie genötigt haben, mit einem Abschiedsbrief ihren Selbstmord anzukündigen. Schliesslich habe er sie aufgefordert, sich die Pulsadern aufzuschneiden. Die Staatsanwaltschaft Baden verdächtigt X._ überdies, nach seiner Entlassung aus der Untersuchungshaft erneut straffällig geworden zu sein. Er habe eine weitere Frau veranlasst, einen Kredit über Fr. 40'000.-- aufzunehmen und ihm diesen Geldbetrag zu übergeben. In der Folge habe er sie aufgefordert, ihm noch einmal Fr. 20'000.-- auszuhändigen, wenn sie den Betrag von Fr. 40'000.-- zurückerhalten wolle, woraufhin die Frau am 4. Februar 2012 bei der Stadtpolizei Zürich Anzeige gegen ihn erstattet habe. D. Am 27. März 2012 wurde X._ erneut festgenommen. Gleichentags beantragte die Staatsanwaltschaft Baden beim Zwangsmassnahmengericht, der Beschuldigte sei für die vorläufige Dauer von drei Monaten, d.h. bis zum 27. Juni 2012 in Untersuchungshaft zu versetzen. Das Zwangsmassnahmengericht wies diesen Antrag am 28. März 2012 ab und verfügte, X._ sei aus der Haft zu entlassen. Der nicht an der Gerichtsverhandlung teilnehmenden Staatsanwaltschaft eröffnete es diesen Entscheid unverzüglich telefonisch. Daraufhin erhob die Staatsanwaltschaft innerhalb von weniger als zwei Stunden Beschwerde ans Obergericht. Sie beantragte die Genehmigung der Untersuchungshaft und die Erteilung der aufschiebenden Wirkung ihrer Beschwerde bzw. die vorläufige Aufrechterhaltung der Untersuchungshaft. Am 29. März 2012 ordnete die Verfahrensleitung der Beschwerdeinstanz vorsorglich die vorläufige Aufrechterhaltung der Untersuchungshaft an. Am 11. April 2012 hiess das Obergericht die Beschwerde der Staatsanwaltschaft gut, hob die Verfügung des Zwangsmassnahmengerichts vom 28. März 2012 auf und ordnete über X._ die Untersuchungshaft für die Dauer von drei Monaten, d.h. bis zum 27. Juni 2012 an. E. Gegen diesen Entscheid hat X._ am 30. April 2011 Beschwerde in Strafsachen ans Bundesgericht erhoben. Er beantragt, der angefochtene Entscheid sei aufzuheben und er sofort aus der Haft zu entlassen. F. Unter Hinweis auf die Ausführungen im angefochtenen Entscheid verzichtet die Vorinstanz auf eine Stellungnahme. Die Staatsanwaltschaft beantragt sinngemäss die Abweisung der Beschwerde. Das Zwangsmassnahmengericht liess sich nicht vernehmen. Mit Eingabe vom 15. Mai 2012 hält der Beschwerdeführer an der Beschwerde fest. 