Вся память постепенно уходит под Cached?
так и должно быть, это нормальное поведение ядра:

linuxatemyram.com/

как кэширование влияет на производительность можно прочитать там же:

linuxatemyram.com/play.html
У вас два гига swap еще свободно — процесс при этом не может умереть от нехватки памяти, это это бага в нем. Иначе бы часть памяти просто скинулась в своп и процесс продолжил бы работать.
Гигантские размеры занятой cached-памяти я наблюдал на всех своих компах, и это не особо мешало производительности.