Почему в файле теневых паролей для групп (/etc/gshadow) пароли не шифруются?
Потому что читаем документацию, а не тыкаем пальцем в небо. Стало интересно, первой ссылкой в гуголе - www.computerhope.com/unix/groupadd.htm
Читаем. И выясняем, что опция -p просит не сам пароль, а строку уже зашифрованную crypt.
Тип шифрования указывается в /etc/login.defs и распространяется он как на /etc/shadow так и /etc/gshadow.
И по-моему  его выключить нет возможности.  ENCRYPT_METHOD не принимает метода типа PLAIN