PNG, JPG или SVG: что использовать?
Для фото - JPEG.
Для схематических изображений (иконки, схемы, чертежи, графические примитивы) - PNG или SVG. Для сложных схематических изображений PNG может быть выгоднее.
Также замечу, что внедрение растрового изображения в SVG - возможно, но бессмысленно.
Для разных целей разные форматы. 
Добавлю свое мнение к предыдущему ответу.
Скажем, фон. Может быть простым, неким абстрактным, но который нельзя отобразить с помощью чистого css. Для этих целей svg тоже будет идеальным выбором, поскольку может быть в пару килобайтов при неограниченном размере, при том что для jpg это же изображение может быть очень сложным и при самом идеальном варианте его можно будет ужать до пары сотен кб. 
Однако, если тот же svg фон будет переполнен мелкими элементами, с достаточно большим количеством точек, то такой svg использовать в качестве фона будет нецелесообразно, поскольку даже при весе, меньшем чем в аналогичном по размеру jpg, этот svg будет визуально долго отрисовываться. 
Еще момент, для chrome настоятельно рекомендуется использовать webp, которые при том же визуальном качестве существенно меньше по весу, чем jpg и png. Да и google любит его как свой формат и как следствие очень благоволит ему - достаточно прогнать сайт через PageSpeed Insights и посмотреть, что он там будет рекомендовать. 
Если на сайте нет webp, таки рекомендация будет обязательно )