According to Bunei TSUNODA, this was because Emperor Toba committed adultery with Sanekane's daughter, who was the wife of Taikenmonin, and the Cloistered Emperor Shirakawa became angry when he came to know it and banished the wife.
角田文衛の説では、待賢門院の女房であった実兼の娘に鳥羽天皇が密通し、それを知った白河法皇が怒って女房を追放したことが原因ではないか、としている。