Stedet tilhørte i 1346 væbneren Niels Eriksen Saltensee af Linde, men blev sammen med byen Sørup solgt eller givet til Niels Knudsen af Svanholm (død mellem 1365-66) i forbindelse med Niels Knudsens ægteskab med Niels Eriksens datter Cecilie. Efter Niels Knudsens død ejedes Søholm af Cecilies bror Erik Nielsen. Hans enke Ingeborg Pedersdatter Grubbe blev gift 2. gang med Johan Olufsen Bjørn, der senere kaldte sig af Søholm. Efter hans død gik stedet til hans døtre Hille (død 1451) og Helene (død 1451) gift med Steen Basse til Tybjerg, som købte hele Søholm. Da han døde barnløs, gik godset til hans søsters datter Sidsel Ovesdatter Lunge, senere hofmesterinde hos dronning Christine, og hendes mand, rigsråd Tobern Bille.  Ejendommen gik formentlig 1464 over til sønnen Bent Bille (død 1494). Hans enke Ermegård Eggertsdatter Frille blev boende med sønnen Anders Bentsen Bille, der 1504-1510 kaldte sig af Søholm, men først lidt efter lidt udkøbte sine søskende af godset. I 1523 blev han rigsråd og fik Stevns Herred som pantelen. Ved udbruddet af Grevens Fejde tog han først parti mod Grev Christoffer, men blev omringet på Søholm, overgav sig og sluttede sig til greven. Christian 3. tog Søholm fra ham, men han fik det i 1536 igen. Formentlig var bygningerne da nedrevet, og han opførte det Søholm, der stod til omkring 1715. Efter hans død brugte sønnerne Hans og Frands "til Søholm" i deres navn. Sidstnævntes søn, Erik Bille, arvede Søholm, men døde ugift i 1590.  Godset synes herefter at være købt af den rige Helvig Jakobsdatter Hardenberg (død 1599), enke efter rigsråd Erik Ottesen Rosenkrantz (død 1575). Deres datter Anne, gift med Frands Rantzau til Rantzausholm, arvede Søholm, der senere igen gik til datteren Sophie Rantzau (død 1675), gift med Mogens Gyldenstierne til Findstrup. Hun overdrog den i 1669 til gehejmeråd Morten Skinkel, der i 1679 solgte Søholm til dronning Charlotte Amalie, der gik i gang med at forbedre godset. Landsbyen Sørup blev nedlagt, og dens jorder kom dels under Søholm, dels under Gjorslev, som dronningen også ejede. Søholms bøndergods blev samlet i sognene Magleby Stevns Sogn, Strøby Sogn og Varpelev Sogn. Ved dronningens død arvede Frederik 4. Søholm og kunne også i 1716 købe Gjorslev. Siden har de to godser hørt sammen.  Søholm i fiktionen Det meste af handlingen i Carit Etlars roman Dronningens vagtmester foregår på Gjorslev, men en del af handlingen er også henlagt til Søholm.