Sachverhalt: Sachverhalt: A. L._, geboren 1946, leidet unter Rückenbeschwerden und war deshalb seit der Kündigung seiner vormaligen Arbeitsstelle durch den Arbeitgeber im Jahr 1992 nicht mehr erwerbstätig. Sein Gesuch um Ausrichtung einer Invalidenrente lehnte die IV-Stelle des Kantons Zürich mit Verfügung vom 27. Februar 1998 ab, nachdem sie den Versicherten auch psychiatrisch hatte untersuchen lassen (Gutachten des Dr. med. M._, Psychiatrie und Psychotherapie FMH vom 15. Januar 1998). Diese Verfügung blieb unangefochten. Am 7. Dezember 1998 machte L._ eine Verschlechterung seines Gesundheitszustandes geltend. Mit Verfügung vom 22. Juni 2000 lehnte die IV-Stelle des Kantons Zürich die Ausrichtung einer Invalidenrente erneut ab mangels rentenbegründender Invalidität. Die hiegegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 21. Juni 2001 in dem Sinne gut, dass die angefochtene Verfügung aufgehoben und die Sache an die IV-Stelle zu ergänzender psychiatrischer Abklärung zurückgewiesen wurde. Es erwog, es könne nicht ausgeschlossen werden, dass im Vergleich zu den bei der ursprünglichen Verfügung vorliegenden Verhältnissen eine wesentliche Veränderung im psychischen Gesundheitszustand des Beschwerdeführers eingetreten sei. Nach psychiatrischer Untersuchung durch med. pract. K._, Fachstelle für Psychiatrische Begutachtung, lehnte die IV-Stelle die Ausrichtung einer Invalidenrente mit Verfügung vom 17. September 2002 erneut ab mit der Begründung, dass sich der psychische Gesundheitszustand nicht in einer für den Rentenanspruch massgebenden Weise verändert habe. Nach psychiatrischer Untersuchung durch med. pract. K._, Fachstelle für Psychiatrische Begutachtung, lehnte die IV-Stelle die Ausrichtung einer Invalidenrente mit Verfügung vom 17. September 2002 erneut ab mit der Begründung, dass sich der psychische Gesundheitszustand nicht in einer für den Rentenanspruch massgebenden Weise verändert habe. B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 8. Januar 2004 ab. B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 8. Januar 2004 ab. C. L._ lässt Verwaltungsgerichtsbeschwerde führen mit den Anträgen auf Aufhebung des angefochtenen Entscheides und der Verfügung der IV-Stelle vom 17. September 2002 sowie auf Zusprechung einer ganzen Invalidenrente ab 1. April 1998. Während die IV-Stelle des Kantons Zürich auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherung auf eine Vernehmlassung. 