Как реализовать парсинг в автономном режиме на RoR?
Active Job - всего лишь интерфейс. Ему нужен бекенд воркер, лучше использовать sidekiq. Должен быть установлен redis server.
whenever - умный интерфейс для крона,чтобы запускать Ваши задачи на парсинг по расписанию
Схема примерно следующая - раз в 30 секуннд с помощью whenever запускаете rake task который в свою очередь запускает ActiveJob планировщик. Этот планировщик выбирает всех пользователей, которым надо что-то парсить и для каждого такого пользователя запускает ActiveJob парсер.
Старт и Стоп - флаги в базе данных, в зависимости от которых планировщик добавит  пользователя в парсинг или нет.
Если данные надо парсить каждые 5 секунд, то руби может быть не лучшим выбором.
ActiveJob - это просто интерфейс, а дефолтовая имплементация, емнип, in-memory. 
Попробуй поставь Sidekiq. Он хранит джобы в redis. Падение сервера, по-идее, не должно влиять.