Как можно удалить элемент из array_map?
Очередной эстет блин. 
Потом разгребай за такими код.
Что здесь "некарасивого"?
Ты не на вернисаж пришел.
Код должен быть не "красивым", а делать что нужно, быть эффективным и читабельным.
Явный цикл с явным условием - это кинтэссениция читабельности, любой, кто его увидит, сразу поймет что он делает.

Если глаза прямо не могут смотреть на 4 строчки - сделай функцию.  Нормальную функцию, которая вызывается в 4 слова, а не через хитрую вложенную конструкцию с подвыподвертом, которую тебе уже тут советуют
https://www.php.net/manual/en/function.array-filter.php возможно вы ищете?
$data = [1, 2, 3, 4];

// Тут $result, но можете и $data оставить
$result = array_filter($data, function ($item) {
    // Ваше условие
    return $item > 2;
});

var_dump($result);