Как сделать так, что бы при делении было десятичное число в C#?
и в чем проблема?
вам надо просто делить не два int, а преобразовать в decimal ..можно одно а можно и оба..decimal sum =  (decimal)a / b;
приведение типов и все такое)
в вашем случае при делении int на int вы получите int (уже до целого преобразованное) и только потом его скастует в sum  (decimal).
Система счисления тут ни при чём. Вам надо перейти к плавающей арифметике.