Что делаю не так при вставке кнопки из VK?
Там написано все. "Invalid application domain.".
Скорей всего вы не вписали домен при получении ключа или вписали с ошибкой или вписали и не сохранили.
Вариантов куча, копайте раздел для разработчиков.
По моему эта часть должна вставляться в <head></head><script type="text/javascript" src="//vk.com/js/api/openapi.js?121"></script>

<script type="text/javascript">
  VK.init({apiId: 3863218, onlyWidgets: true});
</script>
</head>
<body>

<script type="text/javascript">
  VK.init({apiId: 3863218, onlyWidgets: true});
</script>