The retired Toshimasu is said to have led a leisurely life, annotating the 'Shiki (historical records)' with Kanetsugu (although it is not clear if the 'Shiki' owned by Kanetsugu NAOE and now designated as a national treasure is the one that they annotated) or creating waka poems and linked verses.
隠棲後は兼続とともに「史記」に注釈を入れたり（ちなみに直江兼続が所有していた「史記」は今現在国宝に指定されているが、こちらに注釈を入れていたかについては不明）、和歌や連歌を詠むなど自適の生活を送ったと伝わる。