Da hans valgperiode udløb, trak han sig for en tid tilbage fra politik, og da Grover Cleveland blev valgt som demokraternes præsidentkandidat i 1883 forlod han partiet og tilsluttede sig i stedet republikanerne.