Можно ли реализовать постраничную навигацию для API?
Можно ли и если да то как реализовать такую фичу, чтобы не возвращалось сразу 100500 новостей, а возвращалось малыми частями.
Используйте оператор LIMIT:SELECT FROM `table` WHERE `article_id` = {ARTICLE_ID} LIMIT 5, 10
Запрос вернет 5 записей (5-10 включительно)При листании страниц отсылать запрос на следующую партию новостей или как? 
Да
То, что вы ищите называется пагинация. Принимайте два опциональных параметра: uint page и uint perPage. В первом номер страницы, во втором - количество записей на страницу соответственно. Не забудьте про валидацию.