Как сделать, чтобы кнопка всегда была на одном уровне?
Уберите align-items: center у .panel__wrap
Картинку выравнивайте отдельно. 
snippet
align-items: flex-end поможет. 
.panel__wrap {
	display: flex;
	justify-content: center;
	align-items: flex-end;
	margin: 0 -10px;
}
А если нужно более аккуратно чтобы выглядело, то нужно .panel__image задать фиксированную высоту, а вложенному изображению добавить object-fit: cover;
https://jsfiddle.net/vfz4t52y/1/