Sachverhalt: Sachverhalt: A. Y._, geboren 1956, erlitt am 29. Oktober 1999 einen schweren Herzinfarkt. Abgesehen von der Teilnahme an einem Einsatzprogramm der Arbeitslosenversicherung anfangs 2001, welches er aus gesundheitlichen Gründen vorzeitig abgebrochen hat, ist er seither keiner Erwerbstätigkeit mehr nachgegangen. Am 29. April 2002 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich holte einen Bericht des Hausarztes Dr. med. K._ vom 24. August 2002 ein und klärte die erwerbliche Situation ab. Gestützt auf die Gutachten des Kardiologen Dr. med. M._ vom 17. Februar 2003 und des Psychiaters Dr. med. R._ vom 4. August 2003 lehnte sie das Leistungsbegehren mit Verfügung vom 11. September 2003 ab, da die bisherige Tätigkeit als Mitarbeiter im Haus- und Reinigungsdeinst nach Durchführung einer Psychotherapie vollumfänglich zumutbar sei. An dieser Auffassung hielt sie mit Einspracheentscheid vom 24. November 2003 fest. A. Y._, geboren 1956, erlitt am 29. Oktober 1999 einen schweren Herzinfarkt. Abgesehen von der Teilnahme an einem Einsatzprogramm der Arbeitslosenversicherung anfangs 2001, welches er aus gesundheitlichen Gründen vorzeitig abgebrochen hat, ist er seither keiner Erwerbstätigkeit mehr nachgegangen. Am 29. April 2002 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich holte einen Bericht des Hausarztes Dr. med. K._ vom 24. August 2002 ein und klärte die erwerbliche Situation ab. Gestützt auf die Gutachten des Kardiologen Dr. med. M._ vom 17. Februar 2003 und des Psychiaters Dr. med. R._ vom 4. August 2003 lehnte sie das Leistungsbegehren mit Verfügung vom 11. September 2003 ab, da die bisherige Tätigkeit als Mitarbeiter im Haus- und Reinigungsdeinst nach Durchführung einer Psychotherapie vollumfänglich zumutbar sei. An dieser Auffassung hielt sie mit Einspracheentscheid vom 24. November 2003 fest. B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 22. Juli 2004 ab. B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 22. Juli 2004 ab. C. Y._ lässt Verwaltungsgerichtsbeschwerde führen mit den Anträgen auf Aufhebung des angefochtenen Entscheides und Zusprechung einer ganzen Invalidenrente; eventualiter sei die Sache an die Beschwerdegegnerin zurückzuweisen zur Vornahme weiterer Abklärungen. Ausserdem ersucht er um Gewährung der unentgeltlichen Rechtspflege. Während die IV-Stelle des Kantons Zürich auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherung auf eine Vernehmlassung. 