pradeep6kumar2024 commited on
Commit
442acc4
·
1 Parent(s): 453b0a4

Added Example.md

Browse files
Files changed (1) hide show
  1. Examples.md +81 -0
Examples.md ADDED
@@ -0,0 +1,81 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ Input:
2
+ ```
3
+
4
+ ॥ चौपाई ॥
5
+ जय हनुमान ज्ञान गुण सागर।
6
+ जय कपीस तिहुँ लोक उजागर ॥
7
+ राम दूत अतुलित बल धामा।
8
+ अंजनि पुत्र पवनसुत नामा ॥
9
+ महाबीर बिक्रम बजरंगी |
10
+ कुमति निवार सुमति के संगी ॥
11
+ कंचन बरन बिराज सुबेसा।
12
+ कानन कुण्डल कुंचित केसा ॥
13
+ हाथ बज्र अरु ध्वजा बिराजै |
14
+ काँधे मूँज जनेऊ छाजै ॥
15
+ शंकर स्वयं केसरी नन्दन |
16
+ तेज प्रताप महा जग बन्दन ॥
17
+ बिद्यावान गुणी अति चातुर ।
18
+ राम काज करिबे को आतुर ॥
19
+ प्रभु चरित्र सुनिबे को रसिया |
20
+ राम लखन सीता मन बसिया ॥
21
+ सूक्ष्म रूप धरि सियहिं दिखावा |
22
+ बिकट रूप धरि लंक जरावा ॥
23
+ भीम रूप धरि असुर सँहारे |
24
+ ```
25
+
26
+ Output:
27
+ ```
28
+
29
+ {
30
+ "Tokens": "॥ चौ पाई ॥ जय हनुमान ज्ञा न गु ण सागर। जय कपीस तिहुँ लोक उजा गर ॥ राम दूत अतुलित बल धा मा । अंजनि पु त्र पवनसुत नामा ॥ महा बी र बि क्रम बजरंग ी | कुमति निवा र सुमति के संग ी ॥ कं चन बरन बि राज सुबे सा। कानन कु ण ् ड ल कु ं चित के सा ॥ हा थ ब ज्र अरु ध ् व जा बि राजै | का ँ धे मू ँ ज जने ऊ छा जै ॥ श ं कर स्व य ं के सरी नन् द न..." ,
31
+ "Number of Tokens": 173 ,
32
+ "Original Size (bytes)": 1304 ,
33
+ "Tokenized Size (bytes)": 346 ,
34
+ "Compression Ratio": "3.77" ,
35
+ "Vocabulary Size": 2849
36
+ }
37
+
38
+ ```
39
+
40
+
41
+
42
+ Input:
43
+ ```
44
+
45
+
46
+ | ऐलानामःघरेजपुनः सुमित्राके प्रथम पुत्रको लक्ष्मण
47
+
48
+ .. नामधेरे छोटेको'शघ्ृहत ऐसानास घरघो भर्धात्‌ चरौनाम कैशरि चंद-
49
+ नादिते पीषरके- /लिखि पूजनकरि बालकनके दक्षिण कानन में
50
+
51
+
52
+ ।सबांचिआने-
53
+
54
+ काश केश महक लत पत्तारानिनकोदैदीन्हे तित्रको
55
+
56
+ 'प्रेमानेदर्में मरनभई सनते सकलसुख लहे उपायड भाव परिर
57
+
58
+ पूर्ण मनोरथ पाय तनमें प्रेमकी पुलकावली भरिगई ग्राम ख्री बारमु-
59
+
60
+ : ख्याढाढ़ीं कलौंडत इत्यादि को पुरमें गान तथा देवलोंकक्रे गेधवे अप्सरा
61
+
62
+ आकाशमें विमाननपर ग्राइरहीं पुरमें निशान बाजा ढोल ताला: माँ
63
+
64
+ अरुदेगादि बाजिरदे-तथा देवता दुदुभी आदि यंजायरहे इत्पादि गान नि
65
+ एब्ती में तथा आकारमें दो ऊे
66
+
67
+ ```
68
+ Output:
69
+
70
+ ```
71
+
72
+ {
73
+ "Tokens": "| ऐ ला नाम ः घ रे ज पुन ः सुमि त्रा के प्रथम पु त्र को लक् ष् म ण . . नाम धे रे छो टेको ' श घ ् ृ हत ऐ सा ना स घ र घो भ र् धा त् ‌ चर ौ नाम कै श रि चंद - नादि ते पी ष र के - / लिखि पू जनकरि बा लकनके द क् षि ण कानन में । सबा ं चि आने - का श के श म ह क ल त प त् ता रा नि न को दै दीन्हे ति त्र को..." ,
74
+ "Number of Tokens": 229 ,
75
+ "Original Size (bytes)": 1513 ,
76
+ "Tokenized Size (bytes)": 458 ,
77
+ "Compression Ratio": "3.30" ,
78
+ "Vocabulary Size": 2849
79
+ }
80
+
81
+ ```