Как узнать координаты второго отрезка вектора зная его длинну и начальные координаты?
В такой постановке задача не имеет единственного решения.
Любая точка на окружности с центром A и радиусом, равным искомому расстоянию, будет удовлетворять твоему условию.
Тебе нужно либо хранить угол между осью X и вектором AB (полярные координаты), либо хранить отдельно вектор B - A (отдельно x и y).
Вариант первый
Персонаж (А) стреляет в мышь (Б)
Вектор АБ = Б(x,y)-А(x,y) = [Б(х)-А(х); Б(у)-А(у)]
Тебе надо заранее знать координаты А и вычислять координаты мыши (Б)

Вариант второй
Зная угол и расстояние
Например:
А стреляет на 30°, расстояние 8
Тут подходят решения треугольников.
Например, А(х,у) лежат на 0, тогда: гипотенуза треугольника равна 8, углы 30, а также прямой (90), противолежащий гипотенузе. Узнаем 2 угол автоматически (60) по правилу 180-90-30
И вычисляем координаты точки (8*cos30 и 8*cos60).
Координаты 6,9 и 4. Это будет твой вектор