Нужно подключить аналогую камеру. Что для этого лучше использовать 4 жильную витую пару или две 8 жильных с экраном и rg45 бочкой?
Для аналоговых камер есть отличный кабель - КВК, у него предусмотрена подача питания и видеосигнала по отдельным жилам,  (цена от ~40 рублей/метр [в зависимости от региона])
по-этому лучше использовать его.
spoiler
Если 4 жильная у вас действительно витая пара, а не кабель для сигнализации то без разницы. По правильному на обоих концах нужны согласующие устройства, но на небольшом расстоянии можно обойтись простыми разъёмами BNC под клемму. Питание по отдельной паре.