Когда останавливать A/B тестирование
Я думаю, что это зависит от вашего сайта. Если у вас очень низкий показатель конверсии, то скажем при вашем эксперименте вариант А набрал 2 конверсии, а В — 1 при 600 посещений, вот и получется «в два раза». Фактически это — ваша контрольная группа. Посмотрите, при каком количестве посещений они устойчиво сравняются, это и будет приблизительно размер вашей минимально статистически значимой выборки.
Из опыта вынес, что делать сколько-либо значимые выводы о качестве той или иной страницы нельзя, пока она не сгенерировала более 25-30 конверсий. В большинстве случаев, к этому моменту уже достаточно уверенно можно говорить о conversion rate страницы.

Хотя в некоторых случаях результат был вполне устоявшимся уже на 10-15 продажах.