Почему возникает ошибка при выполнении make?
Потому что у вас новая версия openssl (1.1+), в которой чудо-разработчики кардинально поменяли интерфейс.
Поставьте старую версию и будет вам счастье.
Ошибка в том, что вы используете тип BIGNUM без декларации:bignum.h:51:24: error: invalid use of incomplete type ‘BIGNUM {aka struct bignum_st}’