Как оценить работу функции которая рассчитывает вероятность наступления события?
Как вариант - провести одно и то же испытание N раз. Результат испытаний - либо событие E выполняется, либо нет.
Фиксировать каждый раз, когда событие наступило. Получим число N'. 
Если вероятность наступления события P, то количество срабатываний события при бесконечно большом N равно N*P
Так как N мы все же берем конечным числом, то можно число успехов оценить с допуском T :
N*P - T <= N' <= N*P + T
если после N испытаний неравенство выполнено - функция адекватно посчитала вероятноть элементарного события
Чем больше N, тем меньший допуск T можно применять.
Если Вы имеете в виду задачу сравнения двух или более различных реализаций функций, то тогда Вам скорее всего нужен LogLoss. Учтите, что если Вы не можете применить разные функции на одних и тех же данных (то есть проверка ведется на разных выборках), то они должны быть достаточно большими и однородными, иначе результаты сравнения будут недостоверными.