Ryberg var et virksomt medlem af direktionen for Opfostringshuset på Christianshavn, hvortil han udnævntes 1759, og da Johann Friedrich Struensee 1771 havde besluttet at omordne hovedstadens fattigvæsen fra grunden af, stilledes også Ryberg (med præsten Resewitz og rådmand Lunding) i spidsen for den kommission, der resulterede i kabinetsordre af 16. oktober 1771, som ophævede de 3 hidtil særskilte direktioner for Vajsenhuset, opfostringshuset og fattigvæsenet og i steden oprettede en almindelig plejeanstalt, i hvis direktion Ryberg også fik sæde.