added examples

Examples.md

@@ -1,3 +1,4 @@
+<<<<<<< HEAD
 Input:
 ```
 
@@ -78,4 +79,86 @@ Output:
 "Vocabulary Size": 2849
 } 
 
+=======
+Input:
+```
+
+॥ चौपाई ॥ 
+जय हनुमान ज्ञान गुण सागर। 
+जय कपीस तिहुँ लोक उजागर ॥ 
+राम दूत अतुलित बल धामा। 
+अंजनि पुत्र पवनसुत नामा ॥ 
+महाबीर बिक्रम बजरंगी | 
+कुमति निवार सुमति के संगी ॥ 
+कंचन बरन बिराज सुबेसा। 
+कानन कुण्डल कुंचित केसा ॥ 
+हाथ बज्र अरु ध्वजा बिराजै | 
+काँधे मूँज जनेऊ छाजै ॥ 
+शंकर स्वयं केसरी नन्दन | 
+तेज प्रताप महा जग बन्दन ॥ 
+बिद्यावान गुणी अति चातुर । 
+राम काज करिबे को आतुर ॥ 
+प्रभु चरित्र सुनिबे को रसिया | 
+राम लखन सीता मन बसिया ॥ 
+सूक्ष्म रूप धरि सियहिं दिखावा | 
+बिकट रूप धरि लंक जरावा ॥ 
+भीम रूप धरि असुर सँहारे | 
+```
+
+Output:
+```
+
+{
+"Tokens": "॥ चौ पाई ॥ जय हनुमान ज्ञा न गु ण सागर। जय कपीस तिहुँ लोक उजा गर ॥ राम दूत अतुलित बल धा मा । अंजनि पु त्र पवनसुत नामा ॥ महा बी र बि क्रम बजरंग ी | कुमति निवा र सुमति के संग ी ॥ कं चन बरन बि राज सुबे सा। कानन कु ण ् ड ल कु ं चित के सा ॥ हा थ ब ज्र अरु ध ् व जा बि राजै | का ँ धे मू ँ ज जने ऊ छा जै ॥ श ं कर स्व य ं के सरी नन् द न..." ,
+"Number of Tokens": 173 ,
+"Original Size (bytes)": 1304 ,
+"Tokenized Size (bytes)": 346 ,
+"Compression Ratio": "3.77" ,
+"Vocabulary Size": 2849
+}
+
+```
+
+
+
+Input:
+```
+
+
+| ऐलानामःघरेजपुनः सुमित्राके प्रथम पुत्रको लक्ष्मण 
+
+.. नामधेरे छोटेको'शघ्ृहत ऐसानास घरघो भर्धात्‌ चरौनाम कैशरि चंद- 
+नादिते पीषरके- /लिखि पूजनकरि बालकनके दक्षिण कानन में 
+
+
+।सबांचिआने- 
+
+काश केश महक लत पत्तारानिनकोदैदीन्हे तित्रको 
+
+'प्रेमानेदर्में मरनभई सनते सकलसुख लहे उपायड भाव परिर 
+
+पूर्ण मनोरथ पाय तनमें प्रेमकी पुलकावली भरिगई ग्राम ख्री बारमु- 
+
+: ख्याढाढ़ीं कलौंडत इत्यादि को पुरमें गान तथा देवलोंकक्रे गेधवे अप्सरा 
+
+आकाशमें विमाननपर ग्राइरहीं पुरमें निशान बाजा ढोल ताला: माँ 
+
+अरुदेगादि बाजिरदे-तथा देवता दुदुभी आदि यंजायरहे इत्पादि गान नि 
+एब्ती में तथा आकारमें दो ऊे 
+
+```
+Output:
+
+```
+
+{
+"Tokens": "| ऐ ला नाम ः घ रे ज पुन ः सुमि त्रा के प्रथम पु त्र को लक् ष् म ण . . नाम धे रे छो टेको ' श घ ् ृ हत ऐ सा ना स घ र घो भ र् धा त् ‌ चर ौ नाम कै श रि चंद - नादि ते पी ष र के - / लिखि पू जनकरि बा लकनके द क् षि ण कानन में । सबा ं चि आने - का श के श म ह क ल त प त् ता रा नि न को दै दीन्हे ति त्र को..." ,
+"Number of Tokens": 229 ,
+"Original Size (bytes)": 1513 ,
+"Tokenized Size (bytes)": 458 ,
+"Compression Ratio": "3.30" ,
+"Vocabulary Size": 2849
+} 
+
+>>>>>>> e6213f2e5245b6f5d51f5df1ab82b1ac70cc7b9b
 ```

README.md

@@ -3,19 +3,19 @@ title: Awadhi BPE Tokenizer
 colorFrom: blue
 colorTo: red
 sdk: gradio
-sdk_version: "4.19.1"
+sdk_version: 5.9.1
 app_file: app.py
 pinned: false
 license: mit
-python_version: "3.10"
+python_version: '3.10'
 app_port: 7860
 tags:
-    - awadhi
-    - tokenizer
-    - bpe
-    - text-compression
+- awadhi
+- tokenizer
+- bpe
+- text-compression
 datasets:
-    - sunderkand_awdhi
+- sunderkand_awdhi
 ---
 
 # Awadhi BPE Tokenizer
@@ -55,4 +55,88 @@ This space provides a Byte Pair Encoding (BPE) implementation for Awadhi text co
 
 ## License
 
-This project is licensed under the MIT License. 
+## Examples
+
+Input:
+```
+
+॥ चौपाई ॥ 
+जय हनुमान ज्ञान गुण सागर। 
+जय कपीस तिहुँ लोक उजागर ॥ 
+राम दूत अतुलित बल धामा। 
+अंजनि पुत्र पवनसुत नामा ॥ 
+महाबीर बिक्रम बजरंगी | 
+कुमति निवार सुमति के संगी ॥ 
+कंचन बरन बिराज सुबेसा। 
+कानन कुण्डल कुंचित केसा ॥ 
+हाथ बज्र अरु ध्वजा बिराजै | 
+काँधे मूँज जनेऊ छाजै ॥ 
+शंकर स्वयं केसरी नन्दन | 
+तेज प्रताप महा जग बन्दन ॥ 
+बिद्यावान गुणी अति चातुर । 
+राम काज करिबे को आतुर ॥ 
+प्रभु चरित्र सुनिबे को रसिया | 
+राम लखन सीता मन बसिया ॥ 
+सूक्ष्म रूप धरि सियहिं दिखावा | 
+बिकट रूप धरि लंक जरावा ॥ 
+भीम रूप धरि असुर सँहारे | 
+```
+
+Output:
+```
+
+{
+"Tokens": "॥ चौ पाई ॥ जय हनुमान ज्ञा न गु ण सागर। जय कपीस तिहुँ लोक उजा गर ॥ राम दूत अतुलित बल धा मा । अंजनि पु त्र पवनसुत नामा ॥ महा बी र बि क्रम बजरंग ी | कुमति निवा र सुमति के संग ी ॥ कं चन बरन बि राज सुबे सा। कानन कु ण ् ड ल कु ं चित के सा ॥ हा थ ब ज्र अरु ध ् व जा बि राजै | का ँ धे मू ँ ज जने ऊ छा जै ॥ श ं कर स्व य ं के सरी नन् द न..." ,
+"Number of Tokens": 173 ,
+"Original Size (bytes)": 1304 ,
+"Tokenized Size (bytes)": 346 ,
+"Compression Ratio": "3.77" ,
+"Vocabulary Size": 2849
+}
+
+```
+
+
+
+Input:
+```
+
+
+| ऐलानामःघरेजपुनः सुमित्राके प्रथम पुत्रको लक्ष्मण 
+
+.. नामधेरे छोटेको'शघ्ृहत ऐसानास घरघो भर्धात्‌ चरौनाम कैशरि चंद- 
+नादिते पीषरके- /लिखि पूजनकरि बालकनके दक्षिण कानन में 
+
+
+।सबांचिआने- 
+
+काश केश महक लत पत्तारानिनकोदैदीन्हे तित्रको 
+
+'प्रेमानेदर्में मरनभई सनते सकलसुख लहे उपायड भाव परिर 
+
+पूर्ण मनोरथ पाय तनमें प्रेमकी पुलकावली भरिगई ग्राम ख्री बारमु- 
+
+: ख्याढाढ़ीं कलौंडत इत्यादि को पुरमें गान तथा देवलोंकक्रे गेधवे अप्सरा 
+
+आकाशमें विमाननपर ग्राइरहीं पुरमें निशान बाजा ढोल ताला: माँ 
+
+अरुदेगादि बाजिरदे-तथा देवता दुदुभी आदि यंजायरहे इत्पादि गान नि 
+एब्ती में तथा आकारमें दो ऊे 
+
+```
+Output:
+
+```
+
+{
+"Tokens": "| ऐ ला नाम ः घ रे ज पुन ः सुमि त्रा के प्रथम पु त्र को लक् ष् म ण . . नाम धे रे छो टेको ' श घ ् ृ हत ऐ सा ना स घ र घो भ र् धा त् ‌ चर ौ नाम कै श रि चंद - नादि ते पी ष र के - / लिखि पू जनकरि बा लकनके द क् षि ण कानन में । सबा ं चि आने - का श के श म ह क ल त प त् ता रा नि न को दै दीन्हे ति त्र को..." ,
+"Number of Tokens": 229 ,
+"Original Size (bytes)": 1513 ,
+"Tokenized Size (bytes)": 458 ,
+"Compression Ratio": "3.30" ,
+"Vocabulary Size": 2849
+} 
+
+```
+
+This project is licensed under the MIT License.