Можно ли доверять HTTP_REFERER (предварительно прочитайте вопрос)?
Конечно нет. Это то, что передает клиент.
Самый простой способ это проверить — одна из опций curl:
 -e, --referer       Referer URL (H)
Если вы делаете игры с кроссдоменной авторизацией, ставьте подпись. Некоторые плагины к браузерам и прокси вырезают referer, вы получите то, что у части пользователей реферер работать не будет, и потратите кучу времени на выяснение, почему.