Как присвоить переменной значение последовательности команд?
1-й способ) Перенаправить вывод команды в файл и ввести переменную из этого файла:
tasklist /fi "IMAGENAME eq vlc.exe" | find /c /i "vlc.exe">file.tmp
set /p "VAR="<file.tmp
del file.tmp
2-й способ) Обработать в цикле с ключом /f вывод команды:
for /f %%V in ('tasklist /fi "IMAGENAME eq vlc.exe" ^| find /c /i "vlc.exe"') do  set "VAR=%%V"
(При этом не придётся создавать вспомогательный файл, но для выполнения команды будет запускаться дополнительный процесс cmd.exe.)
Как-то так, если взять PowerShell
$vlc_count = (Get-Process -Name 'vlc').count
If ($vlc_count -gt 2){Stop-Process -Name 'vlc' -Force}
Start-Process vlc.exe