На мой сайт заходят другие сайты — это как?
Там поставили на вас ссылку, возможно в виде oEmbed.
Ситуации могут быть разные...
1) Например, кто-то опубликовал ссылку на картинку  с вашего сайта на своем сайте. И при посещении таких страниц будет "страдать" ваш сервер. Для этого включите защиту от hotlink
2) Кто-то действительно поставил ссылку на ваш сайт и люди перешли на ваш сайт с него (реферреры)
3) Как отметил Игорь Воротнёв, кто-то добавил oEmbed 
и т.д. и т.п.