Как поменять много url в 4000 html файлов?
жесть конечно... а скриптовать все это вместо издевательства над здравым смыслом в виде хтмля никак? 

Пишите скрипт, я так понимаю ссылка должна вести на "имя_файла" + 1? Вот и пишите на том же пыхе, я вижу у вас по нему вопросы есть на тостере, значит теоретически знакомы. Выбирайте директорию, берите все файлы, по одному открывайте и меняйте.
На php можно сделать так

<?php


for ($i=1; $i < 4000; $i++) { 
    $file = file_get_contents("html/{$i}.html"); //html папка {$i} название файла
    $nextfile = str_replace('qwerty', $i, $file); //заменяем qwerty на $i тоесть название файла
    file_put_contents("html/{$i}.html", $nextfile); //сохраняем
}

?>