Кто как организовывает админ-панель в Django?
В каких-то случаях достаточно, в каких-то нет. От задач зависит.
Конечно же мало данных для ответа. Что за сайт, какие роли пользователей, какие действия для ролей? 
По опыту джанго-админка идет в осномном для разраба (для тебя), что бы быстро создать/отредактировать что-нить в БД, узеры в ней путаются когда неочевидные связи между сущностями БД. 
Она всех привлекает по началу - три сточки и работает - но расширять/урезать сложно, лучше делать нужные формы для разных ролей пользователей.