README.md

---
language:
- vi
license: apache-2.0
library_name: sentence-transformers
tags:
- cross-encoder
- rerank
datasets:
- unicamp-dl/mmarco
widget:
- text: Trường UIT là gì ?.
  output:
  - label: >-
      Trường Đại_học Công_nghệ Thông_tin có tên tiếng Anh là University of
      Information_Technology ( viết tắt là UIT ) là thành_viên của Đại_học
      Quốc_Gia TP. HCM.
    score: 4.0033
  - label: >-
      Trường Đại_học Kinh_tế – Luật ( tiếng Anh : University of Economics and
      Law – UEL ) là trường đại_học đào_tạo và nghiên_cứu khối ngành kinh_tế ,
      kinh_doanh và luật hàng_đầu Việt_Nam .
    score: 0
  - label: >-
      Quĩ_uỷ_thác đầu_tư ( tiếng Anh : Unit Investment_Trusts ; viết tắt : UIT )
      là một công_ty đầu_tư mua hoặc nắm giữ một danh_mục đầu_tư cố_định
    score: 2.5138
pipeline_tag: text-classification
---

#### Table of contents
1. [Installation](#installation)
2. [Pre-processing](#pre-processing)
3. [Usage with `sentence-transformers`](#usage-with-sentence-transformers)
4. [Usage with `transformers`](#usage-with-transformers)
5. [Performance](#performance)


## Installation
  - Install `pyvi` to word segment:

	- `pip install pyvi`
      
 -  Install `sentence-transformers` (recommend) - [Usage](#usage-with-sentence-transformers):
	
	- `pip install sentence-transformers`

 -  Install `transformers` (optional) - [Usage](#usage-with-transformers):

	- `pip install transformers`

## Pre-processing

```python
from pyvi import ViTokenizer

query = "UIT là gì?"
sentences = [
    "Trường Đại học Công nghệ Thông tin có tên tiếng Anh là University of Information Technology (viết tắt là UIT) là thành viên của Đại học Quốc Gia TP.HCM.",
    "Trường Đại học Kinh tế – Luật (tiếng Anh: University of Economics and Law – UEL) là trường đại học đào tạo và nghiên cứu khối ngành kinh tế, kinh doanh và luật hàng đầu Việt Nam.",
    "Quĩ uỷ thác đầu tư (tiếng Anh: Unit Investment Trusts; viết tắt: UIT) là một công ty đầu tư mua hoặc nắm giữ một danh mục đầu tư cố định"
]

tokenized_query = ViTokenizer.tokenize(query)
tokenized_sentences = [ViTokenizer.tokenize(sent) for sent in sentences]

tokenized_pairs = [[tokenized_query, sent] for sent in tokenized_sentences]
```

## Usage with sentence-transformers

```python
from sentence_transformers import CrossEncoder
model = CrossEncoder('itdainb/vietnamese-cross-encoder', max_length=256)
scores = model.predict(tokenized_pairs)
```

## Usage with transformers

```python
from transformers import AutoTokenizer, AutoModelForSequenceClassification

model = AutoModelForSequenceClassification.from_pretrained('itdainb/vietnamese-cross-encoder')
tokenizer = AutoTokenizer.from_pretrained('itdainb/vietnamese-cross-encoder')

features = tokenizer(tokenized_pairs, padding=True, truncation="longest_first", return_tensors="pt", max_length=256)

model.eval()
with torch.no_grad():
    model_predictions = model(**features, return_dict=True)
    logits = model_predictions.logits

    scores = [score[0] for score in logits]
    print(scores)
```

## Performance
In the following table, we provide various pre-trained Cross-Encoders together with their performance on the [MS MMarco Passage Reranking - Vi - Dev](https://huggingface.co/datasets/unicamp-dl/mmarco) dataset. 

| Model-Name                                            | NDCG@3 | MRR@3 | NDCG@5 | MRR@5 | NDCG@10 | MRR@10 | Docs / Sec |
| ----------------------------------------------------- |:------ | :---- |:------ | :---- |:------ | :----| :--- |
|itdainb/vietnamese-cross-encoder                       |**0.6624**|**0.6433**|**0.7147**|**0.6706**|**0.7422**|**0.6804**|**3.19**
|[BAAI/bge-reranker-v2-m3](https://huggingface.co/BAAI/bge-reranker-v2-m3)                                |0.6094|0.5841|0.6515|0.6062|0.6874|0.6209|0.58
|[amberoad/bert-multilingual-passage-reranking-msmarco](https://huggingface.co/amberoad/bert-multilingual-passage-reranking-msmarco)   |0.4762|0.4592|0.5194|0.4834|0.4980|0.5548|0.58
|[kien-vu-uet/finetuned-phobert-passage-rerank-best-eval](https://huggingface.co/kien-vu-uet/finetuned-phobert-passage-rerank-best-eval) |0.0977|0.0892|0.1403|0.1139|0.1689|0.1254|3.13

 Note: Runtime was computed on a A100 GPU.