Sachverhalt: A. Die Staatsanwaltschaft Muri-Bremgarten führte gegen X._ eine Strafuntersuchung. Am 2. Dezember 2010 wurde dieser in Untersuchungshaft versetzt und seit dem 23. Juni 2011 befindet er sich im vorzeitigen Strafvollzug. Am 22. März 2012 erhob die Staatsanwaltschaft beim Bezirksgericht Bremgarten Anklage gegen X._ insbesondere wegen Schändung (Art. 191 StGB), wegen mehrfachen, gemeinsam von mehreren Personen ausgeführten sexuellen Handlungen mit Kindern (Art. 187 Ziff. 1 StGB i.V.m. Art. 200 StGB) und wegen mehrfacher, gemeinsam von mehreren Personen ausgeführter Pornografie (Art. 197 Ziff. 3 StGB i.V.m. Art. 200 StGB). Der Vorwurf der Schändung bezieht sich auf einen Vorfall im Jahr 2006, den Vorwürfen der sexuellen Handlungen mit Kindern und der Pornografie liegen zwei Vorfälle von Ende August 2009 respektive von Januar 2010 zugrunde. Die Staatsanwaltschaft beantragt eine Freiheitsstrafe von sechs Jahren. Am 27. März 2012 stellte X._ ein Haftentlassungsgesuch. Das Zwangsmassnahmengericht des Kantons Aargau wies das Gesuch im Anschluss an die Verhandlung vom 5. April 2012 ab. Diesen Entscheid focht X._ mit Beschwerde vom 23. April 2012 beim Obergericht des Kantons Aargau an. Mit Entscheid vom 2. Mai wies dieses die Beschwerde ab (Dispositiv-Ziffer 1). Zugleich stellte es fest, X._ befinde sich nicht mehr im vorzeitigen Strafvollzug, sondern in Sicherheitshaft. Die Sicherheitshaft ordnete es einstweilen bis zum 27. Juni 2012 an (Dispositiv-Ziffer 2). B. Gegen diesen Entscheid führt X._ mit Eingabe vom 6. Juni 2012 Beschwerde in Strafsachen ans Bundesgericht mit den Anträgen, den angefochtenen Entscheid aufzuheben und ihn unter Anordnung von Ersatzmassnahmen unverzüglich aus der Haft zu entlassen; es sei eine Schriftensperre zu erlassen, und er sei zu verpflichten, sich gemäss Weisung des Psychiatrischen Diensts des Kantons Aargau einer regelmässigen ambulanten Psychotherapie zu unterziehen. Die Staatsanwaltschaft verzichtet auf eine Stellungnahme. Das Obergericht hat sich nicht vernehmen lassen. 