Как искать мальварь в open source?
Очень смешной вопрос. Я тоже такой могу:
Как стать хирургом? Хочу поизучать  вопрос с практической части, попробовать отрезать пациенту что-нибудь. Хочется понять хотя бы что примерно искать.
автоматически - никак, нет таких алгоритмов.
Крупные компании типа касперского на основе типовых вредоносных алгоритмов делают эвристические алгоритмы, но и они не всесильны и часто дают ложноположительные результаты.

Если говорить про то что украинские коллеги сейчас вытворяют с опенсорсом, внедряя в популярные пакеты, всюду, до куда могут дотянуться, от безобидных сообщений о том что идет война и их убивают, до вредительства и удаления всех файлов с машины, то

 можно попытаться проанализировать патчи (изменения, которые были внесены после определенной даты, до того как вредоносный код мог быть добавлен, на предмет типовых функций (удаление файлов, подключение к сети, ключевые слова в строках и т.п.) и построить некоторый отчет, что вот этот патч.. добавляет подключение по сети, вызов метода eval, в строках содержатся ключевые слова и т.п. и уже во время ручного анализа это может облегчить принятие решения, с чего начинать работать и на что обращать внимание

Типичный пример - если коммит описан как 'добавление кнопки на форму настроек цветовой схемы интерфейса', но в нем есть методы deletefile или eval то это уже повод считать его подозрительным.

но повторюсь, красивого решения не будет, легко не будет...