По поводу AGG - она не ориентирована специально на работу с граф. форматами. Это именно библиотека высококачественного векторного рендеринга. Там что-то есть для загрузки графики, но не стоит - долго будете искать-разбираться-выделять.