En betydelig kassemangel, foranlediget ved et komplot af justitsdirektør, bogholder og kasserer, skaffede dog Ryberg en ubehagelig afslutning på hans direktionsvirksomhed, idet interessenterne ikke uden grund bebrejdede direktionen en alt for stor tillid til hine mænd, hvilket førte til en pennefejde, hvori Ryberg forsvarede direktionen, og en kommissionsdom, hvorefter Ryberg måtte tilsvare en større del af et bogholderen ydet lån.