Есть участники kaggle.com?
— Начать, действительно, сложно. Очень долго приходится везжать в задачу.
 — В любом случаи нужна, если вы не гений. Очень легко залипнуть на каком-то алгоритме. Нужен сильный математик + кодер как минимум.
 — Алгоритм сильно зависит от задачи. Но, в основном, помимо стандартного набора из датамайнинга не плохо бы знать вычислительную математику (градиентные методы, краевая задача, трансоптрная задача и т.п.) и стандартные способы решения стандартных проблем.
На счет команды согласен. Но «свои» и рядом, это роскошь :). Думаю попробую на несложном контесте, а дальше как пойдет.

На счет семантики — плохо это знаю. Я больше на стороне статистики, так проще. Честно пытался продраться через homepages.inf.ed.ac.uk/jbos/comsem/, но так и не понял как из текста индуцировать что то формальное, вроде логики первого порядка. Для небольших текстов и грамматик проходит, но дальше игрушечных примеров дело не доходит. Так что статистика и ML выглядят более продуктивными.