Нужно ли оптимизировать скрипт?
А Вас устраивает такое время? Если да, то не нужно, если нет, то нужно оптимизировать. Нет идеальных цифр, есть допустимые цифры, и если эти цифры переходят допустимый предел, то оптимизируют, иначе нет.
Если в чат планируется отправлять больше 10 сообщений в секунду, или сервер чем-нибудь ещё занимается — тогда стоит. А вообще конечно тяжеловато для чата, можно на порядок улучшить и время и память. Кстати, APC или другой акселератор у вас поставлен?