Как найти не физический объект?
Термины конечно потрясающие... 
Ну во первых можно повесить коллайдер, но сделать его триггером. Тогда "с ним нельзя столкнуться" - тобишь через него можно пройти и все такое, но рейкасты в него пройдут.
Если НИКАКОЙ коллайдер нельзя использовать - то только геометрией. Берете все объекты, считаете расстояния от их центров до центра каста, сравниваете с эталоном и т.д. Дорого, гемморно, будет требовать оптимизации.
1. Сохраняете список объектов.
2. Ищите в этом списке нужные объекты.