additional changes

.gitignore

@@ -0,0 +1,110 @@
+# Byte-compiled / optimized / DLL files
+__pycache__/
+*.py[cod]
+*$py.class
+
+# C extensions
+*.so
+
+/data
+
+# Distribution / packaging
+.Python
+build/
+develop-eggs/
+dist/
+downloads/
+eggs/
+.eggs/
+lib/
+lib64/
+parts/
+sdist/
+var/
+wheels/
+*.egg-info/
+.installed.cfg
+*.egg
+MANIFEST
+
+# PyInstaller
+#  Usually these files are written by a python script from a template
+#  before PyInstaller builds the exe, so as to inject date/other infos into it.
+*.manifest
+*.spec
+
+# Installer logs
+pip-log.txt
+pip-delete-this-directory.txt
+
+# Unit test / coverage reports
+htmlcov/
+.tox/
+.coverage
+.coverage.*
+.cache
+nosetests.xml
+coverage.xml
+*.cover
+.hypothesis/
+.pytest_cache/
+
+# Translations
+*.mo
+*.pot
+
+# Django stuff:
+*.log
+local_settings.py
+db.sqlite3
+
+# Flask stuff:
+instance/
+.webassets-cache
+
+# Scrapy stuff:
+.scrapy
+
+# Sphinx documentation
+docs/_build/
+
+# PyBuilder
+target/
+
+# Jupyter Notebook
+.ipynb_checkpoints
+
+# pyenv
+.python-version
+pyvenv.cfg
+
+# celery beat schedule file
+celerybeat-schedule
+
+# SageMath parsed files
+*.sage.py
+
+# Environments
+.env
+.venv
+env/
+venv/
+ENV/
+env.bak/
+venv.bak/
+
+# Spyder project settings
+.spyderproject
+.spyproject
+
+# Rope project settings
+.ropeproject
+
+# mkdocs documentation
+/site
+
+# mypy
+.mypy_cache/
+
+# Mac OS
+.DS_Store

config.py

@@ -0,0 +1,18 @@
+import os
+
+from dotenv import find_dotenv, load_dotenv
+
+dotenv_path = find_dotenv()
+load_dotenv(dotenv_path)
+
+API_KEY = os.getenv("API_KEY")
+HOST = os.getenv("HOST")
+
+COLLECTION_NAME = os.getenv("COLLECTION_NAME")
+TEXT_FIELD_NAME = os.getenv("TEXT_FIELD_NAME")
+
+DENSE_MODEL = os.getenv("DENSE_MODEL")
+SPARSE_MODEL = os.getenv("SPARSE_MODEL")
+
+DENSE_MODEL_SHORT = os.getenv("DENSE_MODEL_SHORT")
+SPARSE_MODEL_SHORT = os.getenv("SPARSE_MODEL_SHORT")

ner.py

@@ -52,7 +52,7 @@ def perform_ner(text):
     return results
 
 text = """1
-osnovni sud u bijelom polju je vrsio veliku nuzdu
+IP 229/16 PRIVREDNI SUD CRNE GORE, u Vijeću sastavljenom od sudija Dijane Raičković kao predsjednika Vijeća, Ivana Kovačevića i Nataše Sekulić, kao članova Vijeća, u pravnoj stvari izvršnog povjerioca ''M.” AD P., protiv izvršnog dužnika ''F.” DOO P., koga zastupa punomoćnik N. M. advokat iz P. odlučujući po prigovoru izvršnog dužnika na rješenje Javnog izvršitelja A. T. V. I.br.4282/2015 od 29.12.2015.godine, radi naplate novčanog potraživanja u iznosu od 24.750,00€, u sjednici Vijeća održanoj dana‚19.01.2016.godine, donio je RJEŠENJE Usvaja se prigovor izvršnog dužnika pa se rješenje o izvršenju Javnog izvršitelja A. T. V. I.br.4282/2015 od 29.12.2015.godine, stavlja van snage i ukidaju sprovedene izvršne radnje. Predlog za izvršenje ima se smatrati tužbom. Spise predmeta zavesti u upisnik  P . OBRAZLOŽENJE Javni izvršitelj A. T. V. iz P. je na predlog izvršnog povjerioca, na osnovu vjerodostojne isprave-računa br.2015/03/S02/277,dana 29.12.2015.godine, donio rješenje o izvršenju I br.4282/2015, kojim je obavezao izvršnog dužnika da izvršnom povjeriocu isplati iznos od 24.750,00€ sa kamatom i troškovima postupka, kako je to bliže precizirano navedenim rješenjem o izvršenju. Izvršni dužnik je blagovremeno izjavio prigovor kojim je osporio navedeno rješenje o izvršenju ističući da je odmah nakon prijema predmetne fakture istu vratio u originalu izvršnom povjeriocu dana 09.12.2015.godine,osporavajući u cjelosti sadržaj iste i postojanje bilo kakve obaveze prema izvršnom povjeriocu.Navodi da pomenutu fakturu,izvršni dužnik uopšte nije knjižio u svom knjigovodstvu,o čemu je obavijestio izvršnog povjerioca prilikom vraćanja iste,obavještavajući ga istovremeno da po predmetnoj fakturi neće vršiti plaćanje,kako po osnovu tako i visini,o čemu u prilogu dostavlja dopise br.10596 od 09.12.2015.godine i od 17.12.2015.godine, u kojem je, izjašnjavajući se na opomenu od 14.12.2015.godine,ponovo osporio predmetnu fakturu.Ističe da je povjerilac paušalno odmjerio iznos iz fakture,te iz tih razloga predlaže finansijsko vještačenje.Pojašnjava da se potraživanje odnosi na otkazane letove od 04,11 i 18.01.2014.godine,na relaciji P.-H.-P.,a po ugovoru br.10638,koji nije dostavljen uz predlog,dok označeni letovi nijesu otkazani krivicom izvršnog dužnika.Dalje ističe da je povjerilac dozvolu za saobraćaj u dobio tek 24.12.2013.godine,a koju dozvolu je dostavio izvršnom dužniku putem e-maila,pa stoga dana 21.12.2013.godine,let nije bio relizovan isključivom krivicom izvršnog povjerioca,jer nije obezbijedio neophodne dozvole za letenje.Navedeno je uzrokovalo i potpuno zaustavljanje prodaje karata od strane izvršnog dužnika za naredni period jer neizvjesnost oko dobijanja dozvole za let na pomenutoj relaciji,za dužnika kao zakupca čartera,proizvodila veliki rizik naknadni refundacija i negativnog publiciteta,kod turista i stalnih klijenata.Ukazuje da bilateralni sporazum zaključen između Crne Gore i U. Privredni Sud Crne Gore Ip 229/2016 19. Januar 2016 ne tretira čarter saobraćaj,što je predmet ugovora među strankama,već samo redovni vazdušni saobraćaj između ove dvije zemlje,koji se prema definiciji odvija po utvrđenom redu letenja i sa unaprijed utvrđenim linijama.Posebno ističe da je Sporazumom o vazdušnom saobraćaju između Vlade Crne Gore i kabineta ministara U. od09.12.2011.godine- član 3 i 12 određeno da se radi o preciziranim rutama do maksimalnih frekvencija,što znači da izvršni pojerilac može da obavlja samo redovni a ne i čarter prevoz.Dodaje da izvršni dužnik nije bio u mogućnosti da postupi shodno član 5 osnovnog ugovora,u kome su precizirane otkazne klauzule u slučaju kad zakupac čartera otkazuje let,te blagovremeno otkaže letove,budući da isti nijesu potvrđeni od strane prevoznika-izvršnog povjerioca.,te predlaže saslušanje ovlašćenih zastupnika parničnih stranaka.Predlaže da Vijeće usvoji prigovor ukine rješenje o izvršenju i obustavi sprovedeneizvršne radnje.Tražio je troškove posstupka po AT-u. Izvršni povjerilac je u odgovoru na prigovor istakao da Ugovorom o čarter prevozu član 5 st1 t.1 i 2,definiše da zakupac čartera(izvršni dužnik),zadržava pravo da otkaže bilo koji let iz Anexa 1 Ugovora,navodeći uslove koji su za to neophodni.Ističe da je član 1 Anexa 2 Ugovora o čarter prevozu br.2909/13 ugovorena cijena čarter prevoza na predmetnoj relaciji u iznosu od 22.500,00€,tako da nije proizvoljno izvršen obračun taksi za otkaz, kako je to navedeno u prigovoru.Navodi da je dana 23.12.2013.godine dobijena dozvola za obavljanje serije čarter letova na pomenutoj ruti za dane 28.12.2013.godine,04./11./18./25.01.2014.godine,01.08/15/22.02.2014.godine i 01/08/15/ 03.2014.godine.Ističe da je za potrebe izvršnog dužnika obavio let dana 28.12.2013.godine,te da je izvršni dužnika nakon toga putem maila otkazao sve letove ,u potpunosti svestan svoje obaveze u slučaju otkazivanja leta za 04./11./18.01.2014.godine,saglasno odredbama član 5 st1 t.1 i 2 Ugovora o čarter prevozu,o čemu prilogu dostavlja mail izvršnog direktora izvršnog dužnika od 25.12.2013.godine.Predlaže da se prigovor odbije. Odredbom člana 60 stav 3 Zakona o izvršenju i obezbjeđenju ( Sl.list CG , br.36/2011-u daljem tekstu ZIO), propisano je da ako izvršni dužnik učini vjerovatnim navode iz prigovora kojim rješenje pobija u cjelini ili u dijelu kojim je obavezan da namiri potraživanje, vijeće suda će staviti van snage rješenje o izvršenju u dijelu kojim je određeno izvršenje i odrediti da se postupak nastavi kao povodom prigovora protiv platnog naloga. Protiv rješenja o stavljanju van snage rješenja o izvršenju nije dozvoljen prigovor. Kako je izvršni dužnik blagovremenim i obrazloženim prigovorom osporio navedeno rješenje o izvršenju I.br.4282/2015.godine,uz navođenje konkretnih radnji na kojima se zasniva prigovor u dijelu nepostojanja obaveze u odnosu na vjerodostojnu ispravu,a takođe osporavajući osnov i visinu potraživanja,a sve vezano za međusobne obaveze izvršnog povjerioca i izvršnog dužnika,odnosno neipunjavanje obaveze izvršnog povjerioca,učinio vjerovatnim svoje navode iz prigovora i u cjelosti osporio rješenje kojim je obavezan da namiri potraživanje,to je Vijeće na osnovu člana 60 stav 3 Zakona o izvršenju i obezbjeđenju, odlučilo kao u izreci. PRIVREDNI SUD CRNE GORE Dana, 19.01.2016.godine Predsjednik Vijeća - Sudija, Dijana Raičković,s.r. PRAVNA POUKA:Protiv ovog rješenja, nije dozvoljen prigovor.
 """
 
 def merge_entities(token_label_pairs):

neural_searcher.py

@@ -2,6 +2,7 @@ from qdrant_client import QdrantClient
 from fastembed import SparseTextEmbedding, LateInteractionTextEmbedding
 from qdrant_client import QdrantClient, models
 from sentence_transformers import SentenceTransformer
+from collections import Counter
 import os
 
 class NeuralSearcher:

senatus_client.py

@@ -0,0 +1,135 @@
+import json
+import uuid
+from huggingface_hub import login
+from fastembed import SparseTextEmbedding,LateInteractionTextEmbedding
+from qdrant_client import QdrantClient, models
+from sentence_transformers import SentenceTransformer
+from tqdm import tqdm
+import numpy as np
+from huggingface_hub import login
+import os
+
+login(os.getenv('HUGGING_FACE_API_KEY'))
+
+folder_path = 'data'
+
+dense_model = SentenceTransformer(os.getenv('DENSE_MODEL'))
+sparse_model = SparseTextEmbedding(os.getenv('SPARSE_MODEL'))
+# late_interaction_embedding_model = LateInteractionTextEmbedding("answerdotai/answerai-colbert-small-v1")
+
+data = []
+for filename in os.listdir(folder_path):
+    if filename.endswith('.json'):
+        file_path = os.path.join(folder_path, filename)
+        with open(file_path,encoding='utf-8') as f:
+            data = json.load(f)
+
+
+client = QdrantClient(os.getenv('QDRANT_URL'),api_key=os.getenv('QDRANT_API_KEY'))
+
+
+data_array = np.array(data)
+
+split_data = np.array_split(data_array, 1000)
+
+collection_name = "mne-law"
+
+for local_data in split_data:
+
+  payload = []
+  documents = []
+  for obj in local_data:
+      documents.append(obj["tekst"])
+      payload.append(obj)
+
+  sparse_embeddings = list(
+      tqdm(
+          sparse_model.passage_embed(doc for doc in documents),
+          total=len(documents),
+          desc="🔨 Encoding Sparse Embeddings"
+      )
+  )
+
+#   late_interaction_embeddings = list(
+#       tqdm(
+#           late_interaction_embedding_model.passage_embed(doc for doc in documents),
+#           total=len(documents),
+#           desc="🔨 Encoding Late Interaction Embeddings"
+#       )
+#   )
+
+  dense_embeddings = dense_model.encode(documents, show_progress_bar=True, device="cuda")
+
+  existing_collections = client.get_collections().collections
+  collection_names = [col.name for col in existing_collections]
+
+  if collection_name not in collection_names:
+      client.create_collection(
+          collection_name=collection_name,
+          vectors_config={
+              os.getenv('DENSE_MODEL'): models.VectorParams(
+                  size=len(dense_embeddings[0]),
+                  distance=models.Distance.COSINE,
+                  on_disk=True
+              ),
+            #   "answerdotai/answerai-colbert-small-v1": models.VectorParams(
+            #       size=len(late_interaction_embeddings[0][0]),
+            #       distance=models.Distance.COSINE,
+            #       multivector_config=models.MultiVectorConfig(
+            #           comparator=models.MultiVectorComparator.MAX_SIM,
+            #       ),
+            #       hnsw_config=models.HnswConfigDiff(
+            #         m=0,  # Disable HNSW graph creation
+            #       ),
+            #       on_disk=True
+            #   ),
+          },
+          sparse_vectors_config={
+              "Qdrant/bm25": models.SparseVectorParams(
+                  modifier=models.Modifier.IDF,
+              ),
+          },
+          quantization_config=models.ScalarQuantization(
+              scalar=models.ScalarQuantizationConfig(
+              type=models.ScalarType.INT8,
+              always_ram=True
+              )
+          ),
+          optimizers_config=models.OptimizersConfigDiff(
+            indexing_threshold=10000,
+          ),
+          shard_number = 4,
+          hnsw_config=models.HnswConfigDiff(on_disk=True),
+      )
+
+  print("🚀 Uploading to qdrant collection: " + collection_name)
+  client.upload_points(
+      collection_name=collection_name,
+      batch_size = 32,
+      parallel = 16,
+      points=[
+          models.PointStruct(
+              id=uuid.uuid4().hex,
+              vector={
+                  os.getenv('DENSE_MODEL'): dense_embedding,
+                  os.getenv('SPARSE_MODEL'): sparse_embedding.as_object(),
+                #   "answerdotai/answerai-colbert-small-v1":late_interaction_embedding
+              },
+              payload=doc,
+          )
+          for doc, dense_embedding, sparse_embedding in zip(
+              payload, dense_embeddings, sparse_embeddings
+          )
+      ],
+  )
+
+client.create_payload_index(
+    collection_name=collection_name,
+    field_name="dbid",
+    field_schema=models.PayloadSchemaType.INTEGER
+)
+
+client.update_collection(
+    collection_name=collection_name,
+    optimizer_config=models.OptimizersConfigDiff(indexing_threshold=20000),
+)