Klubben blev grundlagt i 1948 som en sammenslutning af to mindre klubber, og ret hurtigt efter blev de blandt landets stærkeste. Således var de i pokalfinalen allerede i 1954 og finalen om det tyske mesterskab i 1960, inden det første mesterskab kom i hus i 1962. Köln kom som følge af disse resultater med i den nyoprettede professionelle Bundesliga fra starten i 1963og blev mester i ligaens allerførste år. I de første mange år var klubben blandt de mest succesrige i Bundesligaen og vandt pokalen i 1977, the double i 1978 og pokalen igen i 1983. Men fra begyndelsen af 1990'erne begyndte det at gå ned af bakke, og i 1998 blev det for første gang til nedrykning til 2. Bundesliga. Siden da har klubben været lidt af en "elevatorklub" med fire ned- og oprykninger. Siden 2014/15 er klubben med i det gode selskab igen. Nordmanden Ståle Solbakken, der er træner for FC København fra 2013, var klubbens træner fra sommeren 2011 til 2012. Den nuværende træner er Peter Stöger fra Østrig.