Нечеткий поиск?
Я когда-то писала диплом на эту тему; у меня получилось, что лучше всего сравнивать русские слова по длине максимального общего префикса (как процент от длины меньшего из слов, должен быть выше порога). Для сравнения предложений — действительно сравнивать слова строк попарно и выводить функцию схожести через расстояния между похожими словами.
Можно сравнивать методом триграмм. Даст определенный результат, даже если слова с разными окончаниями и т.д.