При переводе float в string, число получается с запятой, а не с точкой. Можно ли переводить float в string так, чтобы число было с точкой?
Запятая пишется из-за того что у тебя русская культура.

Ты можешь в ToString передать нужную культуру.
Например:
(42.5).ToString(System.Globalization.CultureInfo.InvariantCulture)


При попытке вставить строку с типами float значении float из C#, выходит ошибка

Делай параметризованные запросы, чтобы такого не было.
(10.5f).ToString(System.Globalization.CultureInfo.InvariantCulture);

Либо глобально
Thread.CurrentThread.CurrentCulture = System.Globalization.CultureInfo.InvariantCulture