I modsætning til mange andre områder i Berlin, der var landsbyer før de blev en del af Berlin, har Kreuzberg en relativt kort historie. Bydelen blev dannet i 1820 og har sit navn fra en 66 m høj bakke, der befinder sig i bydelen. Bakken var længe kendt som Tempelhofer Berg, da den lå lige ved landsbyen Tempelhof. I 1821 blev der opsat et mindesmærke til minde om Napoleonskrigene. Da mindesmærket havde form som et kirkespir, blev bakken fremover kaldt Kreuzberg (Korsbjerget). Landwehrkanal, som går gennem kvarteret, blev bygget 1845-1850 som en udløber syd for Spree. Bydelen voksede som følge af industrialiseringsbølgen i 1860'erne og var langt op i det 20. århundrede den indbyggermæssigt største bydel i byen – selv om den geografisk var den mindste. Da der boede flest, havde Kreuzberg 400.000 indbyggere. Grundet sit lille areal, var Kreuzberg således det mest befolkningstætte område med mere end 60.000 indbyggere pr. km². Industrien satte også sit præg på bydelen, bl.a. rummede gader som Kochstraße og Ritterstraße mange virksomheder. Mange af Tysklands store aviser og forlag holdt også til i Kreuzberg, bl.a. udgiveren af Berliner Zeitung, Axel Springer Verlag. Efter 2. verdenskrig blev huslejepriserne reguleret ved lov, hvilket gjorde investeringer i området uinteressante. Resultatet blev billige boliger af lav standard. Efter genforeningen er priserne steget, og beboersammensætning er blevet langt mere varieret. I dag har Kreuzberg en af de yngste befolkninger sammenlignet med områder i andre af Europas storbyer. Som en af konsekvenserne af området sociale problemer, udgjorde Kreuzberg fra slutningen af 1980'erne og frem til midten af 1990'erne hjemsted for den overvejende kurdiske og tyrkisk-tyske indvandrerbande 36 Boys. Efter bydelsreformen i 2001 blev Kreuzberg lagt sammen med Friedrichshain til den nye bydel Friedrichshain-Kreuzberg. Det vakte forundring, idet de to områder kun er forbundet med én bro over Spree, Oberbaumbrücke.