Jomfruens Egede kan spores tilbage til 1346, hvor gården hed Egedegård, og en af kong Valdemar Atterdags mænd, Uffe Pedersen Neb (død før 1360), ligesom hans sønner Peder Offesen, Johannes Offesen og væbner Niels Offesen skrev sig til denne hovedgård. "Egede" betyder bevoksning af egetræer. Peder Offesens enke, Ingeborg Nielsdatter Panter, bragte gården med i sit andet ægteskab med rigsråd Anders Jacobsen Lunge, der i 1423 ved et nyt ægteskab gav gården til sin nye hustru, Eline Evertsdatter Moltke. Efter hendes død gik gården til Anders Jacobsens broderdatter Sidsel Ovesdatter Lunge, der omkring 1440 havde giftet sig med rigsråd Torbern Bille. Efter hendes død i 1503 deltes hendes ejendom mellem arvingerne, men sønnesønnen Hans Bentsen Bille kunne efterhånden overtage den helt. Han sluttede sig under Grevens Fejde til grev Christoffer, og efter Christian 3.s sejr blev hans len og private godser taget fra ham, men han fik dog Egedesgård tilbage senere. Det var Hans Bille der i sin ejertid 1514-42 opførte sydfløjen, den nuværende hovedbygning. Han døde i 1542 og hans enke Inger Corfitzdatter Rønnow i 1548. Gården deltes derefter mellem dels sønnerne Bent Hansen Bille og Torbern Hansen Bille, dels de to døtre Ermegaard og Birgitte Bille, der begge døde ugifte i 1587 og som arving havde broderdatteren, den ligeledes ugifte Ingebord Bille (død 1608). Efter disse tre jomfruer fik gården sit nuværende navn. Hans Billes sønner solgte deres del af Egedesgård til den tyske adelsmand Hans Barnekow (død 1559), og hans enke Mette Oxe, søster til rigshofmester Peder Oxe, sad også på gården. Herefter er gården blevet forenet, formentlig af Tage Andersen Thott (død 1643), der omkring 1620 byggede en sidefløj til sydfløjen. I 1631 solgte han hele ejendommen til Jens Sparre til Sparresholm. Dennes enke Sidsel Nielsdatter Parberg ejede gården til sin død i 1640, hvorefter den tilfaldt sønnen Christen Sparre til Sparresholm, som i 1636 opførte nordfløjen og døde ugift i 1658. Også datteren Susanne Sparre (død 1650) skrev sig til Egedesgård. Hendes datter, den 16-årige Sidsel Kaas arvede gården og var da trolovet med Peder Grubbe på Lystrup. Kongens hofjægermester, Vincent von Hahn fra det nærliggende gods Sparresholm, blev forelsket i den unge pige, og fik, bag om hendes ryg, kongens tilladelse til at indgå ægteskab. Von Hahn gav endda præsten forbud mod at vie Sidsel til Peder Grubbe. Dramaet endte ved, at von Hahn udfordrede Peder Grubbe. Fire af von Hahns mænd slog Peder Grubbe bevidstløs og kørte ham hjem til Lystrup. Von Hahn giftede sig i 1662 med Sidsel Kaas. Vincents Joachim Hahn var godssamler og øgede tilliggenderne betydeligt. Mens herregården og Øster Egede Kirke overlevede svenskekrigene, så gjorde den omkringliggende landsby det ikke. Den blev brændt ned af svenskerne i 1658, hvorefter landsbyens jorde blev lagt ind under herregården. I 1674 købte Christian 5.s elskerinde Sophie Amalie Moth, grevinde af Samsø, Jomfruens Egede. Hun boede her til sin død 1719, hvor  gården overgik til sønnen, generaladmiral Ulrik Christian Gyldenløve. Han døde samme år, og hans arvinger solgte den i 1721 til søkaptajn Nicolas Espen Poulsen (død 1735). Hans enke solgte den igen i 1740 til oberstløjtnant Claus Bendix Beenfeldt til Lystrup, som i 1751 solgte den videre til svigersønnen, kancelliråd Thomas Holmsted Hielmskiold (1773). Dennes enke Christine Ulrikke Beenfeldt bragte i 1776 gården med i ægteskabet med sin anden mand konferensråd Niels Rosenkrantz von Holstein-Rathlou, der også ejede Lindersvold. Derefter gik de to gårde til sønnen gehejmeråd Christian Frederik von Holstein-Rathlou. Herregården var på dette tidspunkt noget forfalden og bestod af to parallelle længer mod nord og syd med en gårdsplads imellem, som mod øst begrænsedes af kirken og mod vest af en mindre fløj. Holstein-Rathlou foretog en stor ombygning af herregården ledet af en af Danmarks største arkitekter, C.F. Harsdorff. Harsdorff lod vestfløjen nedbryde, lod Sparres nordfløj fra 1636 være og gjorde Hans Billes sydfløj fra 1500-tallet, den nuværende hovedfløj, lige så lang som den anden, hvilket er årsagen til, at bygningens symmetri ikke er fuldkommen. Den har tykke, middelalderlige mure, som Harsdorff har camoufleret med et tykt lag puds, midterpartiets tre fag med den klassiske hoveddør er indrammet med kvaderlisener, der ender i en trekantfronton og over stueetagens vinduer har han anbragt karakteristiske ornamenterede bånd. Harsdorff sammenbyggede hovedbygningen med Thotts lave fløj mod haven. Denne fløj består af en kvadratisk del med en stor stue med fire fag vinduer, i samtidens sprogbrug benævnt salen, og af to mindre rum samt en lavere liggende havestue med affasede hjørner. Desuden indrettedes i den østlige ende af hovedfløjen en spisestue med tre fag vinduer. Den er siden totalt ombygget, og nichernes ovne og vinduespillernes to spejle med tilhørende knægtkonsoller befinder sig nu i andre rum. Hvad rummenes dekorationer angår, kan de med stor sandsynlighed tilskrives J.C. Lillie, selvom der ikke findes arkivalsk bevis herfor. Hans interiører eksisterer stadig, bortset fra den omtalte spisestue, og de henregnes til et af hovedværkerne i det sene syttenhundredetals danske interiørkunst. Ombygningen må være foregået efter 1797, hvilket fremgår af nogle daterede jernovne, og før maj 1799, hvor Harsdorff døde. Lillie forlod landet marts 1799 for at undgå gældsfængsel, så ombygningen og udsmykningen af herregården kan i det store og hele henføres til 1797-98. Christian Frederik von Schack-Rathlous døde 1828, og hans enke Christiane Elisabeth Schack-Rathlou født Friis solgte 1831 Jomfruens Egede til den senere statsminister, greve Adam Wilhelm Moltke til Bregentved, der i 1859 overlod det til sin søn, den senere politiker, greve Christian Henrik Carl Moltke (død 1918), der også ejede Lystrup. Hans søn, greve Aage Moltke, havde begge gårde til sin død i 1943, hvorefter de overgik til greve Ivar Moltke.