Почему paperclip не видит ImageMagick?
В итоге взял paperclip с гитхаба и заработало. Оказывается у меня была старая версия. 
Тем не менее, все мои попытки, которые описаны в вопросе, могут кому нибудь пригодиться.

Решение

было: gem "paperclip", "~> 3.1.4"

ошибка в том, что я почему-то использовал "~>" (ограничивает обновление гема выше 3.1.Х), вместо >= который закачал бы последнюю версию.

сделал так: gem "paperclip", github: "thoughtbot/paperclip"

А сразу залезть на гитхаб?)