Zille blev født i Radeburg nær Dresden, søn af urmager Johann Traugott Zill (Zille siden 1854) og Ernestine Louise (født Heinitz, datter af en minearbejder fra Erzgebirge). I 1867 flyttede hans familie til Berlin, hvor han graduerede fra grundskolen i 1872 og startede som lærling hos litograf. I 1883 giftede han sig med Hulda Frieske, med hvem han havde tre børn. Hun døde i 1919. Zille blev bedst kendt for sine (ofte sjove) tegninger, der fanger karakteristika hos mennesker, især "stereotyper", hovedsageligt fra Berlin, og mange af dem blev offentliggjort i den tyske ugesatiriske avis Simplicissimus. Han var den første, der skildrede det desperate sociale miljø i Berlin Mietskasernen (bogstaveligt talt "lejlighedskaserne"), bygninger med nogle gange et dusin personer pr. værelse, der flygtede fra landdistrikterne til den voksende industrielle storby under Gründerzeit, kun for at finde endnu dybere fattigdom i den voksende proletariske klasse. Hans specielle talent var den skræmmende humoristiske skildring af, hvad der i virkeligheden var ganske usjove livsbetingelser for handicappede tiggere, tuberkuløse prostituerede og tjenestefolk og især deres børn, idet de forsøgte at få det bedste ud af livet og nægtede at give op. Zille betragte ikke sig selv som en rigtig kunstner: han sagde ofte, at hans arbejde ikke var et resultat af talent, men kun af hårdt arbejde. Max Liebermann promoverede ham dog. Han kaldte ham til Berlin Sezession i 1903, udstillede Zille's arbejder og opfordrede ham til at sælge tegninger - og da Zille mistede sit job som litograf i 1910, opfordrede Liebermann ham til at leve alene af sine tegninger. Berlins "almindelige folk" havde meget respekt for Zille, og meget sent i livet kulminerede hans berømmelse, da både fattigdom og ytringsfrihed nåede nye højder i de brølende tyvere, med Nationalgalleriet, der købte nogle tegninger i 1921, Kunstakademiet ærede ham med et professorat i 1924, og Gerhard Lamprecht lavede filmen Die Verrufenen baseret på hans tegneseriefigurer og historier i 1925. Hans 70 års fødselsdag i 1928 blev fejret i hele Berlin. Han døde et år senere.