Sæbygaard hørte i middelalderen under Børglum Bispesæde. Ved reformationen overgik gården til kronen, som ved mageskifte 1560 overlod den til admiral Otte Rud og Pernille Oxe. Admiralen døde i svensk fangenskab, så det var Pernille Oxe, der 1576 byggede et større renæssanceanlæg, men kun den senere kraftigt ombyggede hovedbygning er bevaret. Tårnet, der er muret med de karakteristiske kvadersten, menes at være skabt af den nederlandske bygmester Hercules Midow. Hovedbygningen er placeret på et kvadratisk voldsted. Adgangen til bygningen sker fra ladegården mod nord. Broen over voldgraven sat i sten er fra 1800-tallet og erstattede en vindebro af træ. Ladegårdens bygninger er fra 1900-tallet, men deres placering svarer omtrent til de oprindelige fra Pernille Oxes dage.