Frisch sinh năm 1911 tại Zürich, là con trai thứ hai của Franz Bruno Frisch, một kiến trúc sư, và Karolina Bettina Frisch (née Wildermuth).[2] Ông có một người chị cùng cha, Emma (18991972), con gái của cha mình từ một cuộc hôn nhân trước đó, và một anh trai, Franz, tám tuổi lớn hơn ông (19031978). Gia đình sống khiêm tốn, tình hình tài chính của họ xấu đi sau khi cha mất việc trong Thế chiến thứ nhất.