Может ли Golang заменить C/C++ в написании программ для железа?
У вас вопрос про программы "близкие к железу" и тут же намешано машинное обучение и стандартный софт для десктопа, определитесь.

Для железа go использовать будет менее удобно, чем C/C++
Для машинного обучения go использовать можно
Для десктопного софта, если имеется ввиду графический интерфейс, go тоже будет использовать неудобно.
Заменить C/C++ сможет вряд ли. Используется лишь в определенных сферах из-за своих особенностей. Может лишь немного потеснить их, по большей части в системном и прикладном ПО, а также в другом, связанным с коммуникациями.
Проект TinyGo, к примеру, позволяет писать ПО на подмножестве Go для микроконтроллеров и WebAssembly. Не думаю, что о нем многие знают.
Судя по всему, наиболее успешно вытесняет C/C++ язык Rust. По крайней мере, в браузерах и ядре Linux (пока лишь обсуждения) уже наметился сдвиг.