Gilman kembali ke rumah, sekali lagi membantu ayahnya di toko, dan membenamkan dirinya dalam politik. Pada periode 1786-88 ia duduk di Kongres Kontinental, meskipun catatan kehadirannya buruk. Pada 1787 ia mewakili New Hampshire di Konvensi Konstitusi. Dia tidak tiba di Philadelphia sampai 21 Juli, pada saat itu banyak bisnis besar telah terjadi.