La sua carriera internazionale ha però avuto inizio nel 1975, dopo la vittoria al concorso internazionale Chopin di Varsavia. Infatti dopo questo successo Zimerman si è esibito in diversi Paesi europei, suonando tra l'altro a Parigi con Artur Rubinstein. Nel 1977 ha debuttato al Festival di Salisburgo, mentre l'anno dopo si è recato in Giappone e nel 1979 negli Stati Uniti. Nel 1980 ha suonato per la prima volta con Karajan alle Settimane musicali di Lucerna e a Salisburgo.
Il più grande risultato per lui non sono i premi vinti nei numerosi concorsi ai quali ha partecipato, bensì il fatto di riuscire a mantenere in ogni stagione un ritmo che gli permetta di studiare ogni anno un nuovo repertorio. Ai meno di cinquanta concerti che tiene ogni anno si aggiungono così diversi incontri di musica da camera e alcuni corsi di maestria.
Dal 1986 Zimerman dedica fino a dodici concerti all'anno a opere di beneficenza.
Nell'ottobre del 1996 ha assunto un incarico di insegnamento al Conservatorio di Basilea.