Как сделать, чтобы при создании файла, группа O имела права 0?
Похоже вы хотите наследовать права каталога. Такое поведение в файловых системах *nix не предусмотрено по умолчанию. Если вам никак не обойтись без такого функционала, используйте ACL. Прочитайте про него вцелом, вас интересуют конкретно default права. https://help.ubuntu.ru/wiki/access_control_list
например, setfacl -m d:o::- data