Sachverhalt: A. Mit Urteil vom 23. August 2001 erkannte das Bezirksgericht Bremgarten X._ des Betruges, des Pfändungsbetruges, der Verfügung über mit Beschlag belegte Vermögenswerte in zwei Fällen und des Ungehorsams gegen amtliche Verfügungen in zwei Fällen für schuldig. Vom ebenfalls erhobenen Vorwurf der Vergewaltigung sprach es den Beschuldigten frei. Das Strafmass wurde auf 4 Monate Gefängnis, unter Anrechnung von 11 Tagen Untersuchungshaft, festgesetzt. Gleichzeitig wurde eine am 16. Dezember 1999 auf Bewährung ausgesprochene Strafe von 15 Monaten Gefängnis für vollstreckbar erklärt. B. Gegen diesen Entscheid reichte die Staatsanwaltschaft des Kantons Aargau Berufung ein und beantragte unter anderem auch einen Schuldspruch wegen Vergewaltigung. Die Zivilklägerin verlangte ihrerseits die zusätzliche Verurteilung wegen Vergewaltigung zuzüglich einer Genugtuung von Fr. 8'000.--. Der Beschuldigte selber reichte ebenfalls Berufung ein und stellte insbesondere den Antrag, vom Vorwurf des Betruges freigesprochen zu werden. C. Das Obergericht des Kantons Aargau sprach den Beschuldigten am 21. August 2003 zusätzlich der Vergewaltigung für schuldig und verurteilte ihn zu einer Zuchthausstrafe von 18 Monaten (unter Anrechnung von 11 Tagen Untersuchungshaft, teilweise als Zusatzstrafe zum Urteil des Bezirksgerichts Lenzburg vom 16. Dezember 1999). Für diese Freiheitsstrafe wurde der bedingte Strafvollzug mit einer Probezeit von drei Jahren gewährt. Der Zivilklägerin wurde zu Lasten des Beschuldigten eine Genugtuung von Fr. 4'000.-- zugesprochen. D. Mit Eingabe vom 23. Oktober 2003 erhebt X._ staatsrechtliche Beschwerde und beantragt die Aufhebung von Ziff. 1 bis 8 des obergerichtlichen Urteils vom 21. August 2003, unter Gewährung der unentgeltlichen Rechtspflege. Er macht sinngemäss geltend, bei seinen Einvernahmen sei er - in Verletzung von Art. 6 Ziff. 1 EMRK, Art. 14 Ziff. 3 lit. g des Internationalen Paktes über bürgerliche und politische Rechte vom 16. Dezember 1966 (UNO-Pakt II; SR 0.103.2) und Art. 31 Abs. 2 BV - weder von der Polizei noch vom Bezirksamt Bremgarten umfassend über seine Verteidigungsrechte informiert worden. Vor allem sei er nicht darauf aufmerksam gemacht worden, dass er das Recht habe, die Aussage zu verweigern. Seine Aussagen, insbesondere das kurz vor der Haftentlassung abgelegte Geständnis, seien deshalb grundsätzlich nicht verwertbar. Das Obergericht, die Staatsanwaltschaft, wie auch die Beschwerdegegnerin verzichten auf eine Vernehmlassung. 