Как называется задача или алгоритм выявляния из заданного набора тех прямоугольников, которые больше всего не подходят для замощения заданной области?
Задачи упаковки
Задача о замощении в общем случае же NP-полная, решается полным перебором всех вариантов.

Ну и как уже подсказали: нужна функция оценки варианта замощения.