Как остановить бота в django?
Попыток подключений или попытка входа в админку?
В любом случае, можно попробовать использовать fail2ban, получится достаточно эффективно.
> я думал, что в джанго по-умолчанию идет защита от этой штуки, получается нет?
В любом случае средства "переднего края обороны" вроде файерволлов, или хотя бы даже на стороне веб-сервера  поэффективней средств защиты уровня приложения будут.
Поэтому как верно выше уже порекомендовали - используйте например fail2ban.
Если источником атак были например наши китайские друзья, и на их целевую аудиторию вы не особо рассчитываете - модуль geoip с баном по определенным странам для фаерволла вам в помощь.
Доступ у урл админки можно тоже только с опеределенных адресов сделать.
Да и банальные меры предосторожности - нестандартный урл для админки, нестандартный логин и сложный пароль, - не помешают тоже.