Парсинг фотохостинга. Как Яндекс спарсил доги гугл диска?
Яндекс так может потому что:
1) у них кучи метрики от всех пользователей по которым они могут сразу знать ссылки
2) их роботы могут гулять по ссылкам, т.е. в документе X есть ссылка на документ Y а в документе Y ссылка на документ Z
3) У яндекса есть яндекс браузер через который они в дополнение п1 знают еще кучи ссылок.
Ваш вариант "кроме как подбирать xxxxxxxxx проверяя код ответа?" для вас и будет единственно доступным если не найдете каких либо дыр, дыр в api.
Поисковики, по сути - это парсеры и есть.
Насчет законности, если ссылка лежит в открытом доступе, то смотреть можно. По идее, нельзя использовать в своих наработках, то есть выдавать найденные таким образом ресурсы за свои, нужно указывать "взято с такого-то сайта".
Насчет того, как можно вытащить кроме перебора, кажется, у того же яндекса есть список страниц, которые он проиндексировал для определенного сайта, возможно, эта инфа может быть доступна только владельцам счетчиков, копните в эту сторону