Sachverhalt: A. A.a Die Staatsanwaltschaft Zürich-Limmat leitete ein Strafverfahren ein gegen X._ wegen häuslicher Gewalt zum Nachteil seiner Ehefrau sowie ein weiteres Strafverfahren wegen Versicherungs- und Sozialhilfebetrugs zum Nachteil einer privaten Versicherungsgesellschaft bzw. der öffentlichen Sozialhilfe. Nachdem sich bei einer Einvernahme vom 12. April 2012 der Verdacht ergeben hatte, dass qualifizierte Gewaltdelikte (Vergewaltigung bzw. qualifizierte Fälle häuslicher Gewalt) vorliegen könnten, stellte die Staatsanwaltschaft Zürich-Limmat gleichentags ein Ersuchen um Verfahrensübernahme an die Staatsanwaltschaft IV des Kantons Zürich. Diese lehnte die Übernahme ab, soweit es um die Strafuntersuchungen wegen Handlungen gegen das Vermögen geht. A.b In der Folge wandte sich die Staatsanwaltschaft Zürich-Limmat am 19. April 2012 an die Oberstaatsanwaltschaft des Kantons Zürich und ersuchte diese um Klärung der Zuständigkeit. Am 24. April 2012 traf der Leitende Oberstaatsanwalt die folgende Verfügung: "1. Das Verfahren betreffend Häusliche Gewalt ist durch die Staatsanwaltschaft IV zu führen. 2. Das Verfahren betreffend Betrug etc. ist durch die Staatsanwaltschaft Zürich-Limmat zu führen. 3. Sollte es in beiden Verfahren gemäss Ziffer 1 und 2 zu einer Anklage kommen, ist, sofern keine unüberwindbaren Hindernisse entgegenstehen, eine Anklage zu erheben. Die Verfahren sind entsprechend zu koordinieren." B. Gegen diese Verfügung reichte X._ am 25. April 2012 beim Obergericht des Kantons Zürich Beschwerde ein. Dieses leitete die Beschwerde zuständigkeitshalber an das Bundesgericht weiter. X._ stellt im Wesentlichen die folgenden Anträge: "Der angefochtene Entscheid vom 24. April 2012 sei aufzuheben. Es sei zu bestimmen, dass die Staatsanwaltschaft IV des Kantons Zürich sämtliche gegen den Beschwerdeführer gerichtete (Straf-)Verfahren zu führen hat. Eventualiter sei die Staatsanwaltschaft Zürich-Limmat mit der Führung sämtlicher Verfahren zu betrauen. Subenventualiter: Es sei eine einheitliche Verfahrensleitung zu bestimmen." Zur Begründung wird hauptsächlich ein Verstoss gegen die Zuständigkeitsregelung in der Strafprozessordnung sowie eine Verletzung des Anspruchs auf rechtliches Gehör bzw. der Pflicht zur Begründung behördlicher Entscheide geltend gemacht. C. Die Oberstaatsanwaltschaft des Kantons Zürich schliesst auf Abweisung der Beschwerde. Die Staatsanwaltschaft IV des Kantons Zürich und die Staatsanwaltschaft Zürich-Limmat haben sich innert Frist nicht vernehmen lassen. D. X._ hat sich am 3. Juni 2012 nochmals zur Sache geäussert. 