Rus-Yahudi bir göçmen ailesinin çocuğu olarak New York'ta doğmuştur. Orijinal soyadının Matuschansky olduğu iddia edilse de bu doğrulanamamışdır. Kayıtlarda ismi Walter John Matthowlarak geçmektedir. Gençliğinde New York'ta Yiddish tiyatrosuna katılmış ve bu sıralar sert bulduğu soyadını Matthau olarak değiştirmişdir.
II. Dünya Savaşı yıllarında Amerikan Hava Kuvvetlerinde B-24 Liberator uçaklarında telsizci olarak görev yapmışdır.
1965 yılında başlayan Odd Couple serisi filmlerde Jack Lemmon ile başlayan serüveni uzun yıllar devam etmiş ve pek çok filmde birlikte rol almışlardır. Bu arada 1966 yılında The Fortune Cookie filmi ile en iyi yardımcı erkek oyuncu dalında Oscar'a uzanmışdır.
Matthau iki kez evlenmiş ve iki eşinden birer çocuğu olmuşdur. Kalp krizi nedeni ile yaşamını yitirdiğinde 79 yaşındaydı. Ancak tüm vücuda yayılmış kolon kanseri ile karşılaşılmasına karşın bu ölüm raporuna yansıtılmadı.
* Atomic Attack (1950) (kısa film)
* Gangster Story (1960) (+yönetmen)
* Who's Got the Action? (1962)
* Hello Dolly! (1969)