С помощью чего открыть .jar плагин minecraft чтобы изменить его?
Если вкратце, то изучите реверс индженеринг.
Jar это по факту тот же zip. Но внутри архива лежат class файлы (байткод). Соответственно, вам нужно декомпилировать их в исходники или можете поискать исходники (source code) на гитхаб, битбакет и т.д. Вдруг, это опенсорсный проект.
Можете начать с этого аналогичного вопроса:
https://stackoverflow.com/questions/647116/how-to-...
А лучше начните изучение самого языка, а потом вопросов будет относительно меньше.
Качай InteliJ IDE, кидай туда *.class файлы, получишь отностительно читаемый java-код, который потом придется:
1. собрать в проект которым оно является.
2. Восстановить зависимости (обычно они рядом лежат)
3. Восстановить код (переписать места которые декомпилятор представил каряво/как есть, имена переменых, и т.д.)

И да, декомпилятор не может расшифровать то чего нет, например какой-то левый апи 100% превращается в трэш который дописать придется руками.
профит...