metadata

title: Awadhi BPE Tokenizer
colorFrom: blue
colorTo: red
sdk: gradio
sdk_version: 5.9.1
app_file: app.py
pinned: false
license: mit
python_version: '3.10'
app_port: 7860
tags:
  - awadhi
  - tokenizer
  - bpe
  - text-compression
datasets:
  - sunderkand_awdhi

Awadhi BPE Tokenizer

This space provides a Byte Pair Encoding (BPE) implementation for Awadhi text compression. It features:

Custom BPE implementation for Awadhi text
Vocabulary size < 5000 tokens
Compression ratio > 3.2
Interactive web interface

Usage

Enter Awadhi text in the input box
Click "Tokenize"
View tokenization results and statistics

Implementation Details

Uses character-level tokenization as base
Implements BPE merging strategy
Handles UTF-8 encoded Awadhi text
Provides compression statistics

Model Details

Base tokenization: Character-level
Maximum vocabulary size: 4500 tokens
Training corpus: Sunderkand in Awadhi
Compression target: > 3.2x

Technical Requirements

Python 3.10+
PyTorch
Gradio 4.19.1+

License

Examples

Input:


॥ चौपाई ॥ 
जय हनुमान ज्ञान गुण सागर। 
जय कपीस तिहुँ लोक उजागर ॥ 
राम दूत अतुलित बल धामा। 
अंजनि पुत्र पवनसुत नामा ॥ 
महाबीर बिक्रम बजरंगी | 
कुमति निवार सुमति के संगी ॥ 
कंचन बरन बिराज सुबेसा। 
कानन कुण्डल कुंचित केसा ॥ 
हाथ बज्र अरु ध्वजा बिराजै | 
काँधे मूँज जनेऊ छाजै ॥ 
शंकर स्वयं केसरी नन्दन | 
तेज प्रताप महा जग बन्दन ॥ 
बिद्यावान गुणी अति चातुर । 
राम काज करिबे को आतुर ॥ 
प्रभु चरित्र सुनिबे को रसिया | 
राम लखन सीता मन बसिया ॥ 
सूक्ष्म रूप धरि सियहिं दिखावा | 
बिकट रूप धरि लंक जरावा ॥ 
भीम रूप धरि असुर सँहारे |

Output:


{
"Tokens": "॥ चौ पाई ॥ जय हनुमान ज्ञा न गु ण सागर। जय कपीस तिहुँ लोक उजा गर ॥ राम दूत अतुलित बल धा मा । अंजनि पु त्र पवनसुत नामा ॥ महा बी र बि क्रम बजरंग ी | कुमति निवा र सुमति के संग ी ॥ कं चन बरन बि राज सुबे सा। कानन कु ण ् ड ल कु ं चित के सा ॥ हा थ ब ज्र अरु ध ् व जा बि राजै | का ँ धे मू ँ ज जने ऊ छा जै ॥ श ं कर स्व य ं के सरी नन् द न..." ,
"Number of Tokens": 173 ,
"Original Size (bytes)": 1304 ,
"Tokenized Size (bytes)": 346 ,
"Compression Ratio": "3.77" ,
"Vocabulary Size": 2849
}

Input:



| ऐलानामःघरेजपुनः सुमित्राके प्रथम पुत्रको लक्ष्मण 

.. नामधेरे छोटेको'शघ्ृहत ऐसानास घरघो भर्धात्‌ चरौनाम कैशरि चंद- 
नादिते पीषरके- /लिखि पूजनकरि बालकनके दक्षिण कानन में 


।सबांचिआने- 

काश केश महक लत पत्तारानिनकोदैदीन्हे तित्रको 

'प्रेमानेदर्में मरनभई सनते सकलसुख लहे उपायड भाव परिर 

पूर्ण मनोरथ पाय तनमें प्रेमकी पुलकावली भरिगई ग्राम ख्री बारमु- 

: ख्याढाढ़ीं कलौंडत इत्यादि को पुरमें गान तथा देवलोंकक्रे गेधवे अप्सरा 

आकाशमें विमाननपर ग्राइरहीं पुरमें निशान बाजा ढोल ताला: माँ 

अरुदेगादि बाजिरदे-तथा देवता दुदुभी आदि यंजायरहे इत्पादि गान नि 
एब्ती में तथा आकारमें दो ऊे

Output:


{
"Tokens": "| ऐ ला नाम ः घ रे ज पुन ः सुमि त्रा के प्रथम पु त्र को लक् ष् म ण . . नाम धे रे छो टेको ' श घ ् ृ हत ऐ सा ना स घ र घो भ र् धा त् ‌ चर ौ नाम कै श रि चंद - नादि ते पी ष र के - / लिखि पू जनकरि बा लकनके द क् षि ण कानन में । सबा ं चि आने - का श के श म ह क ल त प त् ता रा नि न को दै दीन्हे ति त्र को..." ,
"Number of Tokens": 229 ,
"Original Size (bytes)": 1513 ,
"Tokenized Size (bytes)": 458 ,
"Compression Ratio": "3.30" ,
"Vocabulary Size": 2849
}

This project is licensed under the MIT License.