Нужен плагин woocommerce filter с ЧПУ?
Таких не видел. Это сложная работа с wp rewrites. Я похожее делал, но это было под заказ на отдельный проект, вот пример url с того проекта https://realia.ua/prodazha-kvartir/room-2/type_object-ctudiya-2_h_i_bolee_urovnej/area-ot-25/cost-ot-500000/
Готовые решение не встречал. 
Если надумаете писать смотрите в сторону функции add_rewrite_rule
Но если вы ищете product filter, могу посоветовать Product Filters.
Там можно редактировать url key. Например есть у вас атрибут "color", тогда создаете элемент в котором указываете в поле "url key"  значение "my-color". И на выходе при фильтрации получаете site.com/shop/?my-color=red читабельно и нету куча проблем с wp rewrites. Для клиентов это очень понятный интерфейс.
нет такого, потому что ?filters=всекрасные - это get запрос, а не ссылка