Что использовать для подсчета слов в больших текстах?
Что угодно подходит. Строка (текст) - это массив символов. Пили его, руби как хочешь, и считай.
для слов есть алгоритм прям в вики MapReduce, раздробить по количеству вычислительных возможностей и юзать.
сравнение слов классически по хешу, причем посдчет также раздробить внутри мапредуса можно. ну и не забыть нормализацию Е-Ё И-Й
подсчет совпадающих предложений бессмыслен, ибо таковых не найдется.