Почему параметр key функции sorted принимает key = lambda x: abs(x), но не принимает abs()?
Потому что вы передаете в качестве key результат вызова функции abs, а не саму функцию. Уберите круглые скобки.
Python 3.4 - все работает