Nachdem er aber im Jahr 1806 von Richter John Edwards aus diesem Amt entlassen worden war, wurde Baldwin zunächst beisitzender Richter am Connecticut Superior Court und später dann am Connecticut Supreme Court of Errors, was er bis 1817 blieb.