In 1873, when Inoue was the Deputy Minister of Finance, he was temporarily driven from the political world because of an accusation that he colluded with Goichi NAKANO, the Governor of Yamaguchi Prefecture at the time, in fraud related to the Osarizawa Copper Mine (Akita Prefecture).
井上は明治6年（1873年）、大蔵大輔のとき、尾去沢銅山（秋田県）に関連して、当時の山口県参事（知事）・中野梧一と結託して不正を働いたとして追及され、一時政界を追われた。