Eskilsø Kloster lå på den lille ø Eskilsø i Roskilde Fjord ud for Horns Herreds sydøstligste punkt Selsø, der tidligere var en ø. Klosteret, der hørte under augustinerordenen, blev opført i 1100-tallet. Man kan stadig se ruinen af den lille klosterkirke tæt ved øens højeste punkt. Det var en cirka 28 meter lang bygning bygget af kampesten og frådsten, og med forhal, skib, kor og apsis, og med næsten en meter tykke mure. Ifølge en beretning stod hvælvingerne frem til 1803.  Som biskop i Roskilde besluttede Absalon i 1165 at reformere klostret, og han indkaldte kanniken Vilhelm fra Genovefas Kloster i Paris og indsatte ham som abbed for Eskilsø Kloster. De gamle kannikker hadede og efterstræbte abbed Vilhelm, fordi han førte streng klostertugt, og de ny kannikker, som Vilhelm havde bragt med sig fra Frankrig, kunne ikke tåle det hårde klima og drog tilbage; det blev derved klart, at Eskilsø var et alt for vanskeligt opholdssted, og derfor flyttedes klostret omkring 1175 til Æbelholt lidt vest for Hillerød.