Как найти причину утечки памяти в Windows Server 2008r2?
support.microsoft.com/kb/979223/en-us
Пеняйте на трафик инспектор
Видимо действительно из-за трафика инспектора было все это.
Обновил драйвер из этой статьи, теперь вторые сутки невыгружаемый пул 100mb и больше не растет