Как правильно сделать регистрацию через php?
К вышесказанному UNIQUE KEY на столбец отвечающий за логины
В чем может быть проблема подскажите?
В том что ты не написал код, который реализует эту функциональность.
он не выдаст ошибку как положено,
Код никогда не выдает ничего сам по себе.
Только если ты сам напишешь проверку, которая выдает ошибку, то он будет выдаваться. 

Добавиь проверку на пустые значения
Добавь проверку на дубликат логина