Как удалить данные строки из индекса google?
1)User-Agent: *
Disallow: /wp-content/
Это если в папке wp-content нету ничего, что вы хотите индексировать (например, какие-нибудь PDF).
2) Настройте сервер, чтобы он не показывал индексы директорий.
Для nginx см. autoindex
Для apache см. DirectoryIndex
А зачем все это закрывать для индексирования? Не вижу в этом смысла.