Svend Grathe skal have anlagt et slot ved Korsør, men det er ikke godt at afgøre, om der med dette menes Tårnborg Slot eller et slot lige ved byen, og i senere beretninger er det også ofte usikkert, hvilket der menes, når Korsør Slot nævnes, således da det berettes, at det under Grevens Fejde indtoges af nogle som hesteprangere forklædte skælskørborgere.