Как расставить приоритетность выполнения арифметических операций в bat?
Как уже сказал Sergei Nazarenko, можно экранировать скобки (достаточно закрывающие), но лучше взять выражение в кавычки. В set /a не следует без необходимости и понимания заключать имена переменных в знаки процента, так как в этом случае их значения будут подставлены до выполнения составной команды, что приведёт к ошибкам, например, в цикле.
set /a "sum = (x + x) * c * x"
или
set /a sum = "(x + x) * c * x"
экранируй скобки ^(%x%+%x%^)