Какие минусы в использовании визуальных редакторов Elementor, PageBuilder и т.п?
Избыточная верстка и css. Там много генерируется черти как пойми. Но для тех кто исходный код никогда не открывает - норм.
Вы подсаживаетесь на одно стороннее решение и скорей всего там и останетесь. Лучше для верстки написать своё. Так вы знаете что где и как работает. Почитайте сколько помощи на форумах поддержки по билдерам - близко к нолю. Зато в 90% вы получите ответ что нафига этим пользоваться?
СЕО - да ему все равно на него. Это удел спец плагинов.
Скорость загрузки - да. Она низкая. Например тот же элементор - хвастается лучшими сайтами на нем, собирая это в дайджест. Я в конце весны анализировал их - по скорости это просто ад. По другому не назовешь.
Но если вам надо лендинг собрать - собирайте на нем.
Выше написали - типа прототип на нем, а потом... И так сойдет...
Я мало видел сайтов что были на билдере, а потом вдруг их переписали нормально. Дайте мне такую инфу кто владеет - интересно. 
Новый билдер - проект гутенберг. И в нем я сразу увидел кучу проблем, как сторонние разработчики блоков убивали производительность:
- просто засунули в фронт fontawesome 4.7 версии. ВНИМАНИЕ: ради 3х иконок!!
- просто засунули в фронт fontawesome 5.* версию и ВНИМАНИЕ это сломало первый вывод с 4.7 версией.
Короче - разносол в своей красе.
- еще с гутенбергом - любовь засунуть для простой верстки бутстрап. Нафиг не нужные 90% css будут у вас грузиться.
Почему так? Потому что у вордпресса нет handle для бутстрапа, скрипта рекапчи, карт и прочих частых и нужных библиотек.
Так что подходя к сайту на билдере - используйте его апи, но делайте блоки и модули для него сами. Только так вы будете контролировать размер всего что подключается. А потом, как надоест мазохизм - перепишете на чистый код. Только тут дайте знать и опишите свой опыт.
Больше всего влияет на скорость загрузки - очень много лишнего грузится, верстка избыточна.
PageBuilder'ы понятно почему используют - чтобы показать лёгкость при работе с WordPress. Это удел людей, которым в код не лезть.
За нормальный SEO обычно отвечает плагин, и он обычно нормально справляется.