Какие возможные проблемы при использовании UDP?
Пакеты также могут быть искажены или доходить в неправильном порядке.
В целом, тема довольно непростая, можно погуглить в сторону "reliable UDP".
Кину ссылку на свою статью habrahabr.ru/post/142858 про UDP Hole Punching и в конце ссылка на библиотеку, которая позволит не заморачиваться с пакетами.