Провёл эксперимент, действительно, не удаляет.
Проверку на валидность не проходит, и всё, остаётся неявное предположение, что финализатор сам за собой почистит. А он не чистит, такой вот сюрприз. То есть, он бы почистил, если бы модуль не выгружался, а так - нифига.