Spaces:
Sleeping
Sleeping
pradeep6kumar2024
commited on
Commit
·
99c428d
1
Parent(s):
442acc4
Added examples in seperate file
Browse files- app.py +19 -0
- examples.py +45 -0
app.py
CHANGED
@@ -1,5 +1,6 @@
|
|
1 |
import gradio as gr
|
2 |
from bpe_Awadhi import AwadhiBPE
|
|
|
3 |
import json
|
4 |
import os
|
5 |
|
@@ -36,6 +37,10 @@ def process_text(input_text: str) -> dict:
|
|
36 |
"Vocabulary Size": len(bpe.vocab)
|
37 |
}
|
38 |
|
|
|
|
|
|
|
|
|
39 |
# Create the Gradio interface
|
40 |
def create_interface():
|
41 |
with gr.Blocks(title="Awadhi BPE Tokenizer") as demo:
|
@@ -60,6 +65,20 @@ def create_interface():
|
|
60 |
outputs=output
|
61 |
)
|
62 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
63 |
gr.Markdown("""
|
64 |
### About
|
65 |
- This tokenizer uses BPE to compress Awadhi text
|
|
|
1 |
import gradio as gr
|
2 |
from bpe_Awadhi import AwadhiBPE
|
3 |
+
from examples import EXAMPLES
|
4 |
import json
|
5 |
import os
|
6 |
|
|
|
37 |
"Vocabulary Size": len(bpe.vocab)
|
38 |
}
|
39 |
|
40 |
+
def load_example(text: str) -> tuple:
|
41 |
+
"""Load example text and clear previous results"""
|
42 |
+
return text, None
|
43 |
+
|
44 |
# Create the Gradio interface
|
45 |
def create_interface():
|
46 |
with gr.Blocks(title="Awadhi BPE Tokenizer") as demo:
|
|
|
65 |
outputs=output
|
66 |
)
|
67 |
|
68 |
+
# Example buttons
|
69 |
+
with gr.Row():
|
70 |
+
for label, text in EXAMPLES.items():
|
71 |
+
# Create a closure to capture the text value
|
72 |
+
def make_example_handler(example_text):
|
73 |
+
def handler():
|
74 |
+
return example_text, None
|
75 |
+
return handler
|
76 |
+
|
77 |
+
gr.Button(label).click(
|
78 |
+
fn=make_example_handler(text),
|
79 |
+
outputs=[input_text, output]
|
80 |
+
)
|
81 |
+
|
82 |
gr.Markdown("""
|
83 |
### About
|
84 |
- This tokenizer uses BPE to compress Awadhi text
|
examples.py
ADDED
@@ -0,0 +1,45 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
"""Module containing example texts for the Awadhi BPE Tokenizer"""
|
2 |
+
|
3 |
+
EXAMPLES = {
|
4 |
+
"Example 1 (Hanuman Chalisa)": """॥ चौपाई ॥
|
5 |
+
जय हनुमान ज्ञान गुण सागर।
|
6 |
+
जय कपीस तिहुँ लोक उजागर ॥
|
7 |
+
राम दूत अतुलित बल धामा।
|
8 |
+
अंजनि पुत्र पवनसुत नामा ॥
|
9 |
+
महाबीर बिक्रम बजरंगी |
|
10 |
+
कुमति निवार सुमति के संगी ॥
|
11 |
+
कंचन बरन बिराज सुबेसा।
|
12 |
+
कानन कुण्डल कुंचित केसा ॥
|
13 |
+
हाथ बज्र अरु ध्वजा बिराजै |
|
14 |
+
काँधे मूँज जनेऊ छाजै ॥
|
15 |
+
शंकर स्वयं केसरी नन्दन |
|
16 |
+
तेज प्रताप महा जग बन्दन ॥
|
17 |
+
बिद्यावान गुणी अति चातुर ।
|
18 |
+
राम काज करिबे को आतुर ॥
|
19 |
+
प्रभु चरित्र सुनिबे को रसिया |
|
20 |
+
राम लखन सीता मन बसिया ॥
|
21 |
+
सूक्ष्म रूप धरि सियहिं दिखावा |
|
22 |
+
बिकट रूप धरि लंक जरावा ॥
|
23 |
+
भीम रूप धरि असुर सँहारे |""",
|
24 |
+
|
25 |
+
"Example 2 (Awadhi Text)": """| ऐलानामःघरेजपुनः सुमित्राके प्रथम पुत्रको लक्ष्मण
|
26 |
+
|
27 |
+
.. नामधेरे छोटेको'शघ्ृहत ऐसानास घरघो भर्धात् चरौनाम कैशरि चंद-
|
28 |
+
नादिते पीषरके- /लिखि पूजनकरि बालकनके दक्षिण कानन में
|
29 |
+
|
30 |
+
|
31 |
+
।सबांचिआने-
|
32 |
+
|
33 |
+
काश केश महक लत पत्तारानिनकोदैदीन्हे तित्रको
|
34 |
+
|
35 |
+
'प्रेमानेदर्में मरनभई सनते सकलसुख लहे उपायड भाव परिर
|
36 |
+
|
37 |
+
पूर्ण मनोरथ पाय तनमें प्रेमकी पुलकावली भरिगई ग्राम ख्री बारमु-
|
38 |
+
|
39 |
+
: ख्याढाढ़ीं कलौंडत इत्यादि को पुरमें गान तथा देवलोंकक्रे गेधवे अप्सरा
|
40 |
+
|
41 |
+
आकाशमें विमाननपर ग्राइरहीं पुरमें निशान बाजा ढोल ताला: माँ
|
42 |
+
|
43 |
+
अरुदेगादि बाजिरदे-तथा देवता दुदुभी आदि यंजायरहे इत्पादि गान नि
|
44 |
+
एब्ती में तथा आकारमें दो ऊे"""
|
45 |
+
}
|