Алгоритм нахождения точек внутри выбранной области
Точка x,y находится внутри многоугольника тогда и только тогда, когда луч (x,y) (x+m,y) пересекает многоугольник непарное количество раз. М — очень большое число.
Horse, Akr0n Дали два правильных варианта. Еще один.
Обходите вершины по порядку (по часовой стрелке или против) и проверяете с какой стороны от отрезка лежит искомая точка. В результате получите "+", "-" или «0». «0» — точка лежит на отрезке, "+" с одной стороны (зависит как обходить), "-" — с другой. Если получили все плюсы или все минусы, то точка внутри полигона. Вот хорошие статьи на эту тему