In 866, during the Affair of Otenmon, he was charged with arson because of a false accusation by Dainagon (chief councilor of state) TOMO no Yoshio, with who he did not get along, and Tomo no Dainagon ekotoba depicts the people in the besieged mansion wailing in desperation.
貞観8年（866年）応天門の変で不仲であった大納言伴善男の誣告により放火の嫌疑を受け、邸を包囲され、絶望した家の人々が嘆き悲しむ様子が伴大納言絵詞に描かれている。