Han studerede på Karol Szymanowski Musikkonservatorium i Katowice under Andrzej Jasiński. Hans karriere tog fart, da han vandt den prestigefyldte Frédéric Chopin Internationale Pianokonkurrence i Warszawa i 1975. I 1976 spillede han med Berliner Philharmonikerne i Berlin under ledelse af Herbert von Karajan. I 1979 debuterede han i USA, da han spillede sammen med New York Philharmonic. Zimerman giver koncerter i mange lande, og bredt anerkendt som en af nutidens førende pianister. Han har indspillet flere album, og har udført et omfattende koncertarbejde. Han er bedst kendt for sin fortolkning af romantikkens musik, men han spiller også nutidige værker, såsom premieren på Witold Lutosławskis Piano Concerto, et værk komponisten skrev til Zimerman. Siden 1996 har han undervist på Academy of Music i Basel. Zimerman er gift, og har to børn. Han har igennem en længere årrække været bosat i Basel i Schweiz.