Как установить 0760 права на файл в java через smb?
Протокол SMB ничего не знает о файловых системах линукс и правах user/group/owner. Короткий вероятный ответ - никак. Если SMB развернута на Linux, то это администратору следует поменять опцию umask, что бы вновь созданному файлу по протоколу SMB на файловой системе где запущена самба - выставлялись нужные права.
А если речь о CIFS на Windows сервере, то тогда никак. (Если допускаем что Windows-server использует NTFS и никаких других костылей)
для начала
java.io.File относится к  ЛОКАЛЬНОЙ машине (там где jvm) и не подходит для изменения на удаленной машине.

надеюсь документация поможет
https://www.jcifs.org/src/docs/api/jcifs/smb/SmbFi...