Как исправить ошибку в формуле Excel VBA?
Если у вас в начале модуля указано:
Option Explicit

то это значит, что требуется явное указание типов переменных. Тогда функция должна выглядеть например так:

Public Function fun1(x As Double) As Double
fun1=(x*x-5*2^0.5)/(2*x^3+1)
End Function

Если причина не в этом - выкладывайте скриншот ошибки
Добавь пробелы и все заработает
Public Function fun1(x As Double) As Double
    fun1 = (x * x - 5 * 2 ^ 0.5) / (2 * x ^ 3 + 1)
End Function