Есть способ использования памяти видеокарты системой?
Нельзя по-человечески, да и смысла в этом нет, видеопамять имеет жутко большую латентность и жутко маленькую производительность при случайном доступе, толку особо не будет в общем случае.
В линуксе можно.