Klubben blev grundlagt 13. maj 1903 som en klub udelukkende for ansatte ved virksomheden Carl Zeiss. Året efter blev den gjort åben for alle. Efter 2. verdenskrig gennemgik klubben adskillige navneændringer, og udviklede sig hurtigt til et af de stærkeste og mest stabile hold i den østtyske Oberliga. Specielt efter ansættelsen af klubbens tidligere spiller Georg Buschner som cheftræner, blev CZJ en magt i ligaen. Med en britisk inspireret fodboldstil, baseret på højt tempo og lange bolde, vandt klubben tre mesterskaber, inden Buschner i 1970 overtog DDR's fodboldlandshold, og overlod posten til sin hidtidige assistent, Hans Meyer. I kamp mod 70ernes store succeshistorier, 1. FC Magdeburg og Dynamo Dresden fik CZJ sværere ved at hænge på i den absolutte top, og måtte nøjes med tre pokaltitler. Klubben nåede et højdepunkt i 1981, da den, efter at have slået storklubber som AS Roma, Valencia CF og Benfica på vejen, nåede finalen i Europa Cuppen for pokalvindere. Finalen i Düsseldorf samlede kun få tusinde tilskuere, og blev tabt 1-2 til det sovjetiske hold Dinamo Tbilisi, og endte som et lidt trist punktum for klubbens tid som fodboldstormagt. Efter Tysklands genforening kvalificerede CZJ sig til den fællestyske 2. Bundesliga, men har siden haft svært ved at holde sig i rækken i længere tid. Mellem 2001 og 2005 var CZJ helt nede i den fjerdebedste række, inden den med to hurtige oprykninger i træk rykkede tilbage til 2. Bundesliga i 2006.  Kendte spillere Bernd Bransch, Perry Bräutigam, Peter Ducke, Roland Ducke, Hans-Ulrich Grapenthin, Harald Irmscher, Lothar Kurbjuweit, Rüdiger Schnuphase, Eberhard Vogel, Konrad Weise og Robert Enke.