Создание лицензии для движка, что прочитать?
Не проще ли открыть код под GPLv3/LGPL (чтобы его не смогли использовать в закрытых проектах) и предусмотреть коммерческую лицензию для закрытых проектов за деньги? Для некоммерческих и открытых проектов разрешить использовать код бесплатно. Плюс, бери деньги за техподдержку. Так сделано у очень многих проектов (Qt, например). 
А то вдруг твоё поделие никто покупать не захочет? Большой проект трудно поддерживать маленьким коллективом (в случае открытых исходников многие смогут отправлять пулл-реквесты). А маленький вряд-ли кто-то купит (если он не обладает какой-нибудь супер уникальной фичей).
Ещё можешь посмотреть, как лицензируются большие движки. Некоторые берут процент с продаж продукта. который их использует, некоторые позволяют использовать движки бесплатно до тех пор, пока прибыль или количество установок проекта не превысят определённую планку. 
Вообще, чем более либеральная лицензия, тем больше будет желающих использовать твой движок. Деньги, опять же, можно и с ТП получать (как это делают RedHat. nGinx, и прочие).
Всё правильно написали: генерация ключа и запись в БД.
Потом при обновлениях/суппорте проверяется ключ, если совпал ключ и домен — доступ, нет — вывод предупреждения.
Проблема здесь в том, что Вы от клиента не можете нормально поправить код, если он шифрован.
Вдруг он захочет что-то поменять в коде — он же его купил?
Открытость кода — признак «нормальной CMS». 
А если код открыт, то тогда Ваша лицензия пойдёт лесом.
Вот так и получается — или делаете нормальную CMS, или платную:)
Выходом считается ещё сделать несколько редакций: бесплатный вариант, платный шифрованный за небольшие деньги на 1 домен, платный нешифрованный без ограничений.
Платный нешифрованный потом покупается вскладчину, зануляется и выкладывается в паблик;)
Ещё вариант: полностью бесплатный, докупаются лишь мелкие модули за небольшие деньги.
И последний вариант — это не продажа, а SAAS услуги, когда все сайты и CMS у Вас на хостинге, клиент платит только за хостинг с двигом, не имея прямого доступа к файлам и коду. Вариант типа Юкоз:)