Здравствуйте, Ярослав!

Когда с коммандера вызывается процедура с параметрами, то весь вызов берется в двойные кавычки, а в данных используются одинарные (в Обероне строка может браться в любые кавычки):

Т.е. надо так:
(COMMANDER)"MyFirst.CheckBrackets('(abc)+14(123(2*3))')"

Если будете писать команды для кнопок или ссылок - там наружные кавычки не нужны, но вот в строковых параметрах все равно используются только одинарные...

И еще - параметр лучше записать как:
PROCEDURE CheckBrackets* (IN str: ARRAY OF CHAR)
- тогда не будет лишнего копирования строки. IN - это тот же VAR, только для чтения.