Как создать персональную систему оплаты на сайте?
Некоторые платежные системы могут встраиваться в страничку сайта. Будет казаться, что платежная система своя. Возможно, вы имеете ввиду именно это?Сделать свою платежную систему и напрямую подключиться к VISA и др. - для одного отдельного магазина слишком дорого, речь идет об обязательном многомиллионном обороте в месяц. Если он хочет сэкономить - это глупо. Проще подключиться к существующей уже.Единственное что можно сделать, если делать самому "персональную" систему оплаты - принимать оплату собственными "фантиками". То есть создать новую платежную систему уровня WebMoney и т.п. Но шлюз в другие системы вам все равно понадобится.
Если вы хотите создать свою платежную систему, то для начала ответьте себе на вопрос:А где именно на схеме выше вы видите свое место?
Вы кого хотите создать? Эквайера? Эмитента?
Как работает оплата картами читать здесь:
https://habrahabr.ru/post/229393/
https://habrahabr.ru/post/157565/
P.S.:
Вообще создать собственную платежную систему (например, типа Robokassa) - можно, и это даже технически не  сложно.
Но прямого подключения вам никто не даст даже на больших оборотах. Для прямого подключения нужны ОГРОМНЫЕ обороты. 
Максимум, что вы можете сделать - просто десяток шлюзов в другие системы-посредники.
У меня есть интернет-магазин в разработке уже много лет. Его владелец постоянно что-то совершенствует. 
Он все эти годы развивает удобства для покупателя, раскрутку сайта и т.п. Это выгодное вложение, оно окупается.
Но прием платежей осуществляется через посредника. 
Cвоя платежная система - это не выгодное вложение для интернет-магазина, а просто глупое (даже если гипотетически предположить, что интернет-магазин это по деньгам потянет).
Имеет смысл говорить о своей платежной системе, если вы AliExpress, eBay или Amazon.
Вообще то подключиться к VISA network не все банки могут, поэтому пока не вырастите в оборот хотя бы 10 м долл в мес - не думайте об этом. 
Вам надо подключиться к банку и через него настроить подключение. Некоторые банки дают возможность кастомизировать платежную страницу. 
И да, если вы чтото пишете свое, даже на платформе банка, PCI DSS обязательно и это будет самый маленький ваш расход, в прошлом году мы делали за 600 тр.