Как удалить пост с помощью get запроса?
Здравствуйте!

При нажатии на кнопку должен удаляться пост. Мне сложно сориентироваться как правильно это сделать. 

Давайте разделим работу на несколько условных частей и разберем поотдельности.
1) Back-end.
Создайте сервлет, который будет обрабатывать ваши get запросы на удаление записи. 
Например, структура запроса должна быть примерно такой:
/posts/delete/{id}
Конечно, правильнее было бы сделать урл иной структуры, но пока не будем на этом зацикливаться. В данном случае {id} это id поста, который нужно удалить.
Соответственно, получаете запрос из фронта и достаете из урла id статьи. 
Далее обращаетесь в базу данных (скорее всего вы используете jdbc). Находите статью по этому id и удаляете ее.

2) Front-end
Вам из фронта нужно выполнить запрос на удаление статьи. 
Судя по вашему коду <c:forEach var="post" items="${postList}"> у вас выводится некий цикл (список) статей. 
А эта кнопка предназначена для удаления статьи.
<a class="btn btn-primary btnPost" role="button">Delete</a>

Измените кнопку и добавьте в нее href атрибут, в котором укажите url на который нужно сделать запрос и id поста, который вы получаете отсюда post.getId()
никак, то что вы скинули - часть шаблонизатора.
Вам же нужен та часть бекенда которая будет обрабатывать ваш get запрос и удалять из базы (или откуда там у вас берется  postList)