Почему JS вычисляет неточно?
Это называется численная неустойчивость, одна из самых частых проблем при вычислениях.
Решение заключается в использовании готовых библиотек линейной алгебры, где люди уже за вас эти проблемы решили.
Тут
Хорошо про округления и точность в JS.
Решение вижу в использовании МатЛаба. :)