Как запустить парсер на сервере?
эмм... поднимаешь на сервере virtualenv
-> ставишь нужные модули
-> заливаешь парсер
-> пользуешь
Если вы установили на сервер модули без virtualenv, и нужно запустить по крону, то так:
1) which scrapy - берёте путь
2) crontab -e
1 * * * * cd /home/ubuntu/scrapy/scraper && /usr/local/bin/scrapy crawl your_parser