Cole menikah tiga kali. Dia menikah dengan Marvin Yancy, penulis lagu, produser dan mantan anggota grup R&B tahun 1970-an The Independents pada 31 Juli 1976. Dia memiliki seorang putra, Robert Adam Robbie Yancy (lahir 14 Oktober 1977); dia sekarang adalah seorang musisi yang melakukan tur dengannya.