Den var da altså kongens by; senere har vel en af kongerne skænket en del af byen til det nærliggende, i det 14. århundredes slutning anlagte Dueholm Kloster, idet det i 1423 siges, at kongen og klosteret ejede største delen af byen, det vil sige at indbyggerne var deres vornede.