Нечто вроде графического редактора формул. Java?
Привет, посмотри этот сайт. Похоже там есть та функция, которую ты ищешь. Сайт Open source, так что если есть желание, все исходники тут.
Хороший редактор формул на Java mirai.