Et svageligt helbred havde Zoëga stadig at kæmpe med, og i sit hjem havde han megen sorg og anden ulempe og ærgrelse; af de elleve børn, hans hustru havde født ham, overlevede kun tre deres forældre; børnenes pleje lagde ofte beslag på Zoëgas kræfter, moren blev efterhånden også meget svag (død 6. januar 1807).