Sachverhalt: A. Am 24. Februar 1993 meldete sich der 1966 geborene S._ wegen Drogensucht (Heroin, Kokain, Haschisch), Hepatitis und Psoriasis an Kopf und Armen erstmals bei der Invalidenversicherung zum Leistungsbezug (Umschulung auf eine neue Tätigkeit) an. Nach medizinischen und erwerblichen Abklärungen wies die IV-Kommission des Kantons Bern das Leistungsbegehren mangels Invalidität ab (Verfügung vom 13. Oktober 1993). Mit Anmeldung vom 20. August 1999 ersuchte S._ die Invalidenversicherung erneut um Ausrichtung von Leistungen (Eingliederungsmassnahmen, Rente) und gab als Behinderung seine 13-jährige Polytoxikomanie, schwere psychische Persönlichkeitsstörungen (Borderline-Syndrom, Depression) und einen gesundheitlich schwer angeschlagenen bzw. kranken Zustand (Psoriasis, nur 15 % Sehfähigkeit auf dem rechten Auge, Hepatitis C) an. Die IV-Stelle führte wiederum erwerbliche Abklärungen durch, holte einen Bericht der Frau Prof. Dr. X._, Psychiatrische Klinik Y._, vom 22. November 2000 ein und liess den Versicherten durch Dr. med. A._, Psychiatrie und Psychotherapie FMH, begutachten (Untersuchung vom 12. Januar 2001; Gutachten vom 27. April 2001). Am 19. April 2001 wurde der Versicherte in die Psychiatrische Klinik B._ eingewiesen. Mit Vorbescheid vom 7. Juni 2001 stellte die IV-Stelle die Abweisung des Leistungsbegehrens in Aussicht, da sich seit der ersten Verfügung vom 13. Oktober 1993 keine erhebliche Veränderung ergeben habe. Am 18. Juni 2001 erliess sie eine dem Vorbescheid entsprechende Verfügung, hob diese allerdings am 12. Juli 2001 wiedererwägungsweise auf, da sie das Vorbescheidverfahren vorzeitig beendet habe. Nachdem der Versicherte gegen den Vorbescheid vom 7. Juni 2001 Einsprache erhoben hatte, veranlasste die IV-Stelle eine neuropsychologische Begutachtung im Institut C._, die am 30. November 2001 durch lic. phil. D._ durchgeführt wurde (Gutachten vom 16. Januar 2002) und für welche der sich inzwischen wegen Drogendelikten im Strafvollzug befindliche Versicherte Hafturlaub erhielt. Gegen den daraufhin erlassenen wiederum ablehnenden Vorbescheid vom 14. März 2002 liess der Versicherte erneut Einsprache erheben und einen Bericht des Dr. med. V._ vom 12. Juni 2002 auflegen, wo er sich seit 21. März 2002 in stationärer Behandlung befand. Mit Verfügung vom 29. Juli 2002 wies die IV-Stelle das Leistungsbegehren ab. B. Beschwerdeweise liess S._ die Ausrichtung einer ganzen Rente rückwirkend ab 1. September 2001 beantragen. Das Verwaltungsgericht des Kantons Bern hiess die Beschwerde mit Entscheid vom 23. Oktober 2003 in dem Sinne gut, als es die Verfügung vom 29. Juli 2002 aufhob und eine ganze Rente ab 1. September 2001 zusprach. Zudem leitete es die Akten an die IV-Stelle weiter zur Prüfung, ob ein Revisionsverfahren durchzuführen sei. C. Die IV-Stelle erhebt Verwaltungsgerichtsbeschwerde und beantragt die Aufhebung des vorinstanzlichen Entscheides bezüglich der Ausrichtung einer ganzen Rente ab 1. September 2001. S._ lässt auf Abweisung der Verwaltungsgerichtsbeschwerde schliessen; das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung. Mit Eingabe vom 16. Februar 2004 reicht die IV-Stelle eine ergänzende Stellungnahme ihres ärztlichen Dienstes (Dr. med. U._) vom 13. Februar 2004 zu den Akten. 