Как отфильтровать массив с объектами?
numbers.filter(n => !objects.some(m => m.number === n))
или

numbers.filter(function(n) {
  return !this.has(n);
}, new Set(objects.map(n => n.number)))
1. Свести многомерный массив к одномерному
2. Отфильтровать первый, проверяя наличие значений во втором.

let arr2_plain = arr2.map(item => item.number);
let result = arr1.filter(item => !arr2_plain.includes(item));