Merkinė er en af de ældste litauiske bosættelser og blev første gang nævnt i skriftlige kilder i 1359 i Novgorods krønike. Nogle historikere som Michał Balinski og Aleksander Połujański mener at byen blev grundlagt af viking]erne i 1200-tallet. Byen er placeret ved Merkinė slotsbakke, hvor man fra en gammel borgbanke kontrollerede floderne. Mest sandsynligt blev bebyggelsen og borgen grundlagt i 1200-tallet som en del af unge litauiske stats forsvarsanlæg. Træborgen Merkinė var en vigtig del af forsvarlinje af slotte ved Nemunas mod Den Tyske Orden. Da Storfyrsten af Litauen og konge af Polen Jogaila gav Vilnius byrettigheder i 1387 blev dokumentet underskrevet på Merkinė slot. Første kirke blev bygget i 1387-1392 af Vytautas Didysis og Jogaila. Efter slaget ved Grunwald voksede byen hurtigt. I 1532 holdt den litauiske Sejmas måde i Merkinė. Indtil byen fik Magdeburgrettigheder var der skatteopkrævere i Merkinė, og efterhånden var der et øget antal af kroer og handelen øgeedes.  Magdeburgrettigheder Merkinė fik tildelt Magdeburgrettigheder 7. december 1569.  Jødisk historie Den tidligste omtale af jøder i Merkinė er fra 8. juli 1539, hvor en tvist mellem en jøde ved navn Konyuk og en kristen om en gæld til Konyuk blev pådømt. I 1551 blev Merkinė nævnt som en af fjorten byer hvor landsbybeboere og jøder fik skattefritagelse for en særskat til den polske rigsdag, der blev holdt i Vilnius samme år. Merkine var i 1800-tallet hjemsted for nogle hebraiske lærde bl.a. Mordokaj Melzer, Isaac Margolis (d. New York 1887), og hans søn Max Margolis, assisterende professor i semitiske sprog på University of California. I skoven bag byen ligger en massegrav for polske jøder dræbt under den nazistiske besættelse.  Kirker I Merkine findes den romerskkatolske kirke, som er inviet til "den hellige Jomfru Marias Himmelfart". Kirken er fra 1648, bygget i gotisk stil med elementer fra renæssancen og barokken. Der ud over har byen den ortodokse "Hellig Korskirke", bygget i 1888. Kirken havde i 1949 50-100 troende, og blev nedlagt og overtaget af det lokale etnografiske museum.  Merkinės pyramide Merkinės pyramide blev bygget af Paul Žėkas i 2002, på stedet, hvor han som syvårig havde en mystisk oplevelse den 20. august 1990. Pyramiden tiltrækker en større gruppe mennesker, bl.a. den tidligere præsidents Rolandas Paksas' kone Limes Paksienė, der besøger pyramiden hver anden uge undertiden med hele hendes familie. Hun deltog i en kampagne for at redde pyramiden fra nedrivning, da dette blev foreslået af litauiske embedsmænd.