På grund af nogle søudrustninger, han i 1854, mens vestmagterne krigedes mod Rusland i Krim-krigen, havde ladet foretage uden Rigsdagens samtykke, sattes han under rigsretsanklage, men frifandtes 1856 tillige med hele det øvrige ministerium. 1852 blev Bille medlem af Folketinget som repræsentant for Københavns 8. kreds, men året efter stillede han sig ikke til genvalg.