Cassel giftede sig med Elizabeth Deering i 1964; de fik to børn inden de blev skilt i 1983. Guitaristen Slash (hvis rigtige navn er Saul Hudson), var barndomsvenner med Cassels søn, og har tilskrevet Cassel æren for at give ham sit kunstnernavn, fordi han altid rendte fra et sted til et andet, og aldrig sad stille. Cassel døde den 7. april 2019, som 84-årig.