Есть ли смысл в разделении основного сайта и его API?
 А благодаря асинку будет работать быстрее, чем django rest framework 
А может сначала изучить асинк, прежде чем приписывать ему магические способности "работать быстрее"?
1) Джангу нужно повесить на один контейнер (условный интерфейс)
2) API нужно вынести в другой контейнер (к примеру можно использовать FastApi который как раз базируется на Starlette).
3) Убедиться что оба контейнера смотрят в одну базу (либо сделать реплику основной базы для FastApi)
4) Далее в контейнер с FastApi подключается Tortoise ORM.

По поводу того будет ли быстрее, лучше всего вам ответят тесты.
https://www.techempower.com/benchmarks/

PS.
В целом отделение API от условного интерфейса и вынос его в отдельный контейнер (контейнеры) это общая практика и именно так и надо делать.