Как настроить mysql в debian для высокой нагрузки?
Во-первых, надо привести в порядок базу данных - расставить индексы, где надо. 
Во-вторых - оптимизировать само приложение, возможно от многих запросов удастся избавиться.
В mysql можно включить лог медленных запросов (slow query log)
Что касается настройки mysql, то в случае innodb могу посоветовать следующие рекомендации www.pentarh.com/wp/2011/03/02/mysql-innodb-highloa...
Еще у Mysql есть опция на максимальное количество одновременных соединений. Но лучшее без особой надобности не трогать - если вы оптимизируете все остальное, то со значением по умолчанию должно нормально работать.
Это веб-сервер? Если да, сначала расставьте контрольные точки по коду веб-приложения и посмотрите на каких участках оно спотыкается или долго исполняется с упором в БД. Оттуда увидите проблемные запросы и поймете где узкие места.