Как wireshark'у сказать, чтобы он смотрел исходящий трафик только от конкретной проги?
В текущей версии никак.
1. Есть очень древняя версия с PID Filter
2. Можно отфильтровать по портам, если вы знаете, какие используются.
3. Можно воспользоваться другим инструментом, например, Microsoft Network Monitor.
Никак, если вы точно не знаете какой именно трафик она генерирует и по каким портам.
Как wireshark будет  отличать его от другого трафика?
Слушайте весь, а уж потом разбирайтесь кто его сгенерировал.
Или обеспечьте чтобы с интерфейса шел только трафик нужной программы, остальной режьте фаерволом.