Как перевести строку в формулу на Java?
Ну Вы конечно насоветовали человеку ... 
Если нужно запилить парсер нет ничего лучше, чем ANTLR
сами описываете грамматику, он Вам генерит код, который эту грамматику понимает. Примеров грамматик для математики вагон и маленькая тележка.
Если хочется полностью разобраться в вопросе - смотрите теорию компиляторов, например книгу красного дракона.