Почему пропадают нарисованные объекты на PictureBox, если меняется картинка?
Нельзя так просто рисовать на контролах формы - такие вещи надо делать в событии Paint. Или, раз уж вы загружаете картинку в PictureBox - рисуйте на этой картинке, а не на контроле.
Вот оно как просто оказывается. Bitmap img = (Bitmap)Image.FromFile("image.jpg");
Pen pen = new Pen(Color.Red, 2);

using (var graphics = Graphics.FromImage(img))
{
    graphics.DrawRectangle(pen, new Rectangle(10, 10, 5, 5));
}

this.image.Image = img;
Спасибо.