pradeep6kumar2024 commited on
Commit
99c428d
·
1 Parent(s): 442acc4

Added examples in seperate file

Browse files
Files changed (2) hide show
  1. app.py +19 -0
  2. examples.py +45 -0
app.py CHANGED
@@ -1,5 +1,6 @@
1
  import gradio as gr
2
  from bpe_Awadhi import AwadhiBPE
 
3
  import json
4
  import os
5
 
@@ -36,6 +37,10 @@ def process_text(input_text: str) -> dict:
36
  "Vocabulary Size": len(bpe.vocab)
37
  }
38
 
 
 
 
 
39
  # Create the Gradio interface
40
  def create_interface():
41
  with gr.Blocks(title="Awadhi BPE Tokenizer") as demo:
@@ -60,6 +65,20 @@ def create_interface():
60
  outputs=output
61
  )
62
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
63
  gr.Markdown("""
64
  ### About
65
  - This tokenizer uses BPE to compress Awadhi text
 
1
  import gradio as gr
2
  from bpe_Awadhi import AwadhiBPE
3
+ from examples import EXAMPLES
4
  import json
5
  import os
6
 
 
37
  "Vocabulary Size": len(bpe.vocab)
38
  }
39
 
40
+ def load_example(text: str) -> tuple:
41
+ """Load example text and clear previous results"""
42
+ return text, None
43
+
44
  # Create the Gradio interface
45
  def create_interface():
46
  with gr.Blocks(title="Awadhi BPE Tokenizer") as demo:
 
65
  outputs=output
66
  )
67
 
68
+ # Example buttons
69
+ with gr.Row():
70
+ for label, text in EXAMPLES.items():
71
+ # Create a closure to capture the text value
72
+ def make_example_handler(example_text):
73
+ def handler():
74
+ return example_text, None
75
+ return handler
76
+
77
+ gr.Button(label).click(
78
+ fn=make_example_handler(text),
79
+ outputs=[input_text, output]
80
+ )
81
+
82
  gr.Markdown("""
83
  ### About
84
  - This tokenizer uses BPE to compress Awadhi text
examples.py ADDED
@@ -0,0 +1,45 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ """Module containing example texts for the Awadhi BPE Tokenizer"""
2
+
3
+ EXAMPLES = {
4
+ "Example 1 (Hanuman Chalisa)": """॥ चौपाई ॥
5
+ जय हनुमान ज्ञान गुण सागर।
6
+ जय कपीस तिहुँ लोक उजागर ॥
7
+ राम दूत अतुलित बल धामा।
8
+ अंजनि पुत्र पवनसुत नामा ॥
9
+ महाबीर बिक्रम बजरंगी |
10
+ कुमति निवार सुमति के संगी ॥
11
+ कंचन बरन बिराज सुबेसा।
12
+ कानन कुण्डल कुंचित केसा ॥
13
+ हाथ बज्र अरु ध्वजा बिराजै |
14
+ काँधे मूँज जनेऊ छाजै ॥
15
+ शंकर स्वयं केसरी नन्दन |
16
+ तेज प्रताप महा जग बन्दन ॥
17
+ बिद्यावान गुणी अति चातुर ।
18
+ राम काज करिबे को आतुर ॥
19
+ प्रभु चरित्र सुनिबे को रसिया |
20
+ राम लखन सीता मन बसिया ॥
21
+ सूक्ष्म रूप धरि सियहिं दिखावा |
22
+ बिकट रूप धरि लंक जरावा ॥
23
+ भीम रूप धरि असुर सँहारे |""",
24
+
25
+ "Example 2 (Awadhi Text)": """| ऐलानामःघरेजपुनः सुमित्राके प्रथम पुत्रको लक्ष्मण
26
+
27
+ .. नामधेरे छोटेको'शघ्ृहत ऐसानास घरघो भर्धात्‌ चरौनाम कैशरि चंद-
28
+ नादिते पीषरके- /लिखि पूजनकरि बालकनके दक्षिण कानन में
29
+
30
+
31
+ ।सबांचिआने-
32
+
33
+ काश केश महक लत पत्तारानिनकोदैदीन्हे तित्रको
34
+
35
+ 'प्रेमानेदर्में मरनभई सनते सकलसुख लहे उपायड भाव परिर
36
+
37
+ पूर्ण मनोरथ पाय तनमें प्रेमकी पुलकावली भरिगई ग्राम ख्री बारमु-
38
+
39
+ : ख्याढाढ़ीं कलौंडत इत्यादि को पुरमें गान तथा देवलोंकक्रे गेधवे अप्सरा
40
+
41
+ आकाशमें विमाननपर ग्राइरहीं पुरमें निशान बाजा ढोल ताला: माँ
42
+
43
+ अरुदेगादि बाजिरदे-तथा देवता दुदुभी आदि यंजायरहे इत्पादि गान नि
44
+ एब्ती में तथा आकारमें दो ऊे"""
45
+ }