Examples.md

<<<<<<< HEAD Input:

॥ चौपाई ॥ 
जय हनुमान ज्ञान गुण सागर। 
जय कपीस तिहुँ लोक उजागर ॥ 
राम दूत अतुलित बल धामा। 
अंजनि पुत्र पवनसुत नामा ॥ 
महाबीर बिक्रम बजरंगी | 
कुमति निवार सुमति के संगी ॥ 
कंचन बरन बिराज सुबेसा। 
कानन कुण्डल कुंचित केसा ॥ 
हाथ बज्र अरु ध्वजा बिराजै | 
काँधे मूँज जनेऊ छाजै ॥ 
शंकर स्वयं केसरी नन्दन | 
तेज प्रताप महा जग बन्दन ॥ 
बिद्यावान गुणी अति चातुर । 
राम काज करिबे को आतुर ॥ 
प्रभु चरित्र सुनिबे को रसिया | 
राम लखन सीता मन बसिया ॥ 
सूक्ष्म रूप धरि सियहिं दिखावा | 
बिकट रूप धरि लंक जरावा ॥ 
भीम रूप धरि असुर सँहारे | 

Output:

{
"Tokens": "॥ चौ पाई ॥ जय हनुमान ज्ञा न गु ण सागर। जय कपीस तिहुँ लोक उजा गर ॥ राम दूत अतुलित बल धा मा । अंजनि पु त्र पवनसुत नामा ॥ महा बी र बि क्रम बजरंग ी | कुमति निवा र सुमति के संग ी ॥ कं चन बरन बि राज सुबे सा। कानन कु ण ् ड ल कु ं चित के सा ॥ हा थ ब ज्र अरु ध ् व जा बि राजै | का ँ धे मू ँ ज जने ऊ छा जै ॥ श ं कर स्व य ं के सरी नन् द न..." ,
"Number of Tokens": 173 ,
"Original Size (bytes)": 1304 ,
"Tokenized Size (bytes)": 346 ,
"Compression Ratio": "3.77" ,
"Vocabulary Size": 2849
}

Input:

| ऐलानामःघरेजपुनः सुमित्राके प्रथम पुत्रको लक्ष्मण 

.. नामधेरे छोटेको'शघ्ृहत ऐसानास घरघो भर्धात्‌ चरौनाम कैशरि चंद- 
नादिते पीषरके- /लिखि पूजनकरि बालकनके दक्षिण कानन में 


।सबांचिआने- 

काश केश महक लत पत्तारानिनकोदैदीन्हे तित्रको 

'प्रेमानेदर्में मरनभई सनते सकलसुख लहे उपायड भाव परिर 

पूर्ण मनोरथ पाय तनमें प्रेमकी पुलकावली भरिगई ग्राम ख्री बारमु- 

: ख्याढाढ़ीं कलौंडत इत्यादि को पुरमें गान तथा देवलोंकक्रे गेधवे अप्सरा 

आकाशमें विमाननपर ग्राइरहीं पुरमें निशान बाजा ढोल ताला: माँ 

अरुदेगादि बाजिरदे-तथा देवता दुदुभी आदि यंजायरहे इत्पादि गान नि 
एब्ती में तथा आकारमें दो ऊे 

Output:

{
"Tokens": "| ऐ ला नाम ः घ रे ज पुन ः सुमि त्रा के प्रथम पु त्र को लक् ष् म ण . . नाम धे रे छो टेको ' श घ ् ृ हत ऐ सा ना स घ र घो भ र् धा त् ‌ चर ौ नाम कै श रि चंद - नादि ते पी ष र के - / लिखि पू जनकरि बा लकनके द क् षि ण कानन में । सबा ं चि आने - का श के श म ह क ल त प त् ता रा नि न को दै दीन्हे ति त्र को..." ,
"Number of Tokens": 229 ,
"Original Size (bytes)": 1513 ,
"Tokenized Size (bytes)": 458 ,
"Compression Ratio": "3.30" ,
"Vocabulary Size": 2849
} 

=======
Input:

॥ चौपाई ॥ जय हनुमान ज्ञान गुण सागर। जय कपीस तिहुँ लोक उजागर ॥ राम दूत अतुलित बल धामा। अंजनि पुत्र पवनसुत नामा ॥ महाबीर बिक्रम बजरंगी | कुमति निवार सुमति के संगी ॥ कंचन बरन बिराज सुबेसा। कानन कुण्डल कुंचित केसा ॥ हाथ बज्र अरु ध्वजा बिराजै | काँधे मूँज जनेऊ छाजै ॥ शंकर स्वयं केसरी नन्दन | तेज प्रताप महा जग बन्दन ॥ बिद्यावान गुणी अति चातुर । राम काज करिबे को आतुर ॥ प्रभु चरित्र सुनिबे को रसिया | राम लखन सीता मन बसिया ॥ सूक्ष्म रूप धरि सियहिं दिखावा | बिकट रूप धरि लंक जरावा ॥ भीम रूप धरि असुर सँहारे |

Output:

{ "Tokens": "॥ चौ पाई ॥ जय हनुमान ज्ञा न गु ण सागर। जय कपीस तिहुँ लोक उजा गर ॥ राम दूत अतुलित बल धा मा । अंजनि पु त्र पवनसुत नामा ॥ महा बी र बि क्रम बजरंग ी | कुमति निवा र सुमति के संग ी ॥ कं चन बरन बि राज सुबे सा। कानन कु ण ् ड ल कु ं चित के सा ॥ हा थ ब ज्र अरु ध ् व जा बि राजै | का ँ धे मू ँ ज जने ऊ छा जै ॥ श ं कर स्व य ं के सरी नन् द न..." , "Number of Tokens": 173 , "Original Size (bytes)": 1304 , "Tokenized Size (bytes)": 346 , "Compression Ratio": "3.77" , "Vocabulary Size": 2849 }

Input:

| ऐलानामःघरेजपुनः सुमित्राके प्रथम पुत्रको लक्ष्मण

.. नामधेरे छोटेको'शघ्ृहत ऐसानास घरघो भर्धात्‌ चरौनाम कैशरि चंद- नादिते पीषरके- /लिखि पूजनकरि बालकनके दक्षिण कानन में

।सबांचिआने-

काश केश महक लत पत्तारानिनकोदैदीन्हे तित्रको

'प्रेमानेदर्में मरनभई सनते सकलसुख लहे उपायड भाव परिर

पूर्ण मनोरथ पाय तनमें प्रेमकी पुलकावली भरिगई ग्राम ख्री बारमु-

: ख्याढाढ़ीं कलौंडत इत्यादि को पुरमें गान तथा देवलोंकक्रे गेधवे अप्सरा

आकाशमें विमाननपर ग्राइरहीं पुरमें निशान बाजा ढोल ताला: माँ

अरुदेगादि बाजिरदे-तथा देवता दुदुभी आदि यंजायरहे इत्पादि गान नि एब्ती में तथा आकारमें दो ऊे

Output:

{ "Tokens": "| ऐ ला नाम ः घ रे ज पुन ः सुमि त्रा के प्रथम पु त्र को लक् ष् म ण . . नाम धे रे छो टेको ' श घ ् ृ हत ऐ सा ना स घ र घो भ र् धा त् ‌ चर ौ नाम कै श रि चंद - नादि ते पी ष र के - / लिखि पू जनकरि बा लकनके द क् षि ण कानन में । सबा ं चि आने - का श के श म ह क ल त प त् ता रा नि न को दै दीन्हे ति त्र को..." , "Number of Tokens": 229 , "Original Size (bytes)": 1513 , "Tokenized Size (bytes)": 458 , "Compression Ratio": "3.30" , "Vocabulary Size": 2849 }

e6213f2e5245b6f5d51f5df1ab82b1ac70cc7b9b ```