Hans eneste overlevende søn, agent, siden etatsråd, Johan Christian Ryberg, f. 1767, d. 15. januar 1832, fortsatte forretningen, men huset Ryberg gik fallit 1820, ikke som følge af tab under krigen med England, men på grund af tab ved statsbankerotten 1813 og senere tilstødte uheld, og staten, der havde støttet ham med betydelige lån, som han ikke kunde refundere, overtog bl.a. hans smukke gods Frederiksgave.