Каковы мои права на дизайн сайта?
Ответить ему что авторские права неотчуждаемы, он получил полное право на использование этого произведения (дизайна), а у вас осталось право заявить что вы это сделали. Что бы этого права у вас не было надо было с самого начала работать по NDA где были бы прописаны условия неразглашения. Предложите подписать NDA сейчас за дополнительную плату.
Если договора не было, в котором всё это должно быть прописано, то это ваш дизайн! И вы имеете полное право выкладывать его к себе. Ответ уже в вашем вопросеРаботал с человеком без договора, на устной договоренности.
Если будет договор, то вы там должны указать, что имеете право на то, что бы выкладывать свою работу в портфолио. Если клиент согласен, дерзайте, если нет, то уже решаете как пойдёт!
У меня был такой момент, когда я работал в одном стартапе. Я занимался фронтенд частью. После ухода оттуда, у меня остались все исходники, даже сейчас они у меня. Т.к. никакого договора у нас не было(хоть и  зп я получал), то я никому ничего не должен.
Так же, работая в одной "конвейерной" фирме, по созданию сайтов, там, в трудовом договоре был пункт, который запрещал публиковать выполненные в этой фирме работы, дизайн, вёрстку и т.п. за своё. Всё это было интеллектуально собственностью той фирмы.