Prototype + jQuery 1.4.2 — 1.6.1 + FancyBox или любое другое расширение?
Может целесообратно переписать все под один фреймворк?
Недавно столкнулся с такой же проблемой. Проект на tapestry 5(в котором клиентская часть основана на prototype), к нему надо было прикрутить плагины jquery. Помогла строчка в конце jquery.js:
var j$ = jQuery.noConflict();

После этого $(...) — prototype, j$(...) — jquery.