Локализированная поисковая выдача
На сколько я понимаю, поисковики используют единую базу для всех своих «веб-морд». Поэтому и робот скорее всего один.

Поэтому, наверное, лучше делать однозначную адресацию страниц для каждого из языков. А поисковики (при условии индексации всех вариантов страниц) пусть уж сами разбираются, что отдавать пользователю в зависимости от языка запроса.
У страниц с одним содержанием но на разных языках должен быть один URL. Это разные представления одного объекта.
Но так, как нормально работать с HTTP 1.1 человечество уже 13 лет учится и еще не научилось, придется на сервере реализовать клиентскую логику. Придется сделать отдельные URL и общий url, который будет делать редирект temporary moved 302 на локализованные страницы. И еще заголовок vary не забыть, чтобы прокси и бот понимали, что это локализованная страница.

А на каком языке показывать сайт в выдаче поисковик решает сам. Можете дополнительно подсказать ему заголовком Content-Language. Может быть он его поймет.