Ну да. Поэтому GC все же нужен. Но он может выполняться эпизодически, для сборки этих мелких "утечек".
(Собственно, на "Эльбрусах" периодически происходил, если правильно помню и опять не путаю с AS400, процесс сборки мусора, с уплотнением памяти - и перенастройкой адресов).