Hans enke, Anna Brahe (1576-1635), byggede slottet 1617-23, og efterfulgtes som ejer af sin søstersøn Henrik Ramel den yngre på Bækkeskov og Løberød, i hvis slægt, der siden naturaliseredes som svensk adel, ejendommen forblev.