Как сделать передвижения div'ов стрелками клавиатуры?
Нельзя так делать, вы при каждом клике создаёте новый обработчик. Это очень фигово.
Вынесите обработку нажатий, обработчик нужно один раз вешать.var $div;

$(document).keydown(function(e){
    if(!$div) return;
    // ... обработка
});

$('body').click(function(e){
    $div = null;
    return false;
});

$('div').click(function(e){
    $div = $(this);
    return false;
});
jsfiddle.net/Ye8bb/4
Доработал деактивацию выделения, при клике по body, в примере от товарища @alexesDev jsfiddle.net/Ye8bb/3