Update app.py

app.py

@@ -6,7 +6,10 @@ from transformers import SpeechT5HifiGan
 from datasets import load_dataset
 from IPython.display import Audio
 import numpy as np
-model_name = "trangiabao17032000/final_tts"
+import math
+import re
+
+model_name = "trangiabao17032000/model_tts_mix"
 
 #processor
 processor = SpeechT5Processor.from_pretrained(model_name)
@@ -14,16 +17,14 @@ tokenizer = processor.tokenizer
 
 #model
 model = SpeechT5ForTextToSpeech.from_pretrained(model_name)
-model.resize_token_embeddings(len(tokenizer))
-model.eval()
 
 #vocoder
 vocoder = SpeechT5HifiGan.from_pretrained("microsoft/speecht5_hifigan")
-vocoder.eval()
 
 #speaker embedding
 embeddings_dataset = load_dataset("Matthijs/cmu-arctic-xvectors", split="validation")
-speaker_embeddings = torch.tensor(embeddings_dataset[7306]["xvector"]).unsqueeze(0)
+
+speaker_embeddings = torch.tensor(embeddings_dataset[7200]["xvector"]).unsqueeze(0)
 
 #cleaner text
 def convert_string_to_numbers(input_str):
@@ -82,16 +83,18 @@ def number_to_vietnamese_words(number):
             result_decimal += ' ' + ones[int(digit)]
 
     return result_integer + result_decimal
-    
+
 def is_num(string):
     try:
-        float(string)
+        temp = float(string)
+        if math.isnan(temp):
+          return False
     except ValueError:
         return False
     return True
-    
+
 def normalize(input):
-     input = input.lower()
+     input = input.strip().lower()
      newstr = map(lambda x: number_to_vietnamese_words(convert_string_to_numbers(x)) if is_num(x) else x, input.split(" "))
      return ' '.join(newstr)
 
@@ -111,38 +114,54 @@ def split_paragraph_into_sentences(paragraph, max_chars = 300):
         sentences.append(current_sentence)
 
     return sentences
+
+
+def cleanup_text(inputs):
+    return re.sub('[0-9]', '', inputs.strip().lower())
     
 # generator speech
 def text_to_speech(paragraph):
+    if len(paragraph.strip()) == 0:
+        return (16000, np.zeros(0).astype(np.int16))
+
     try:
-        paragraph = normalize(paragraph)
+      paragraph = normalize(str(paragraph))
     except:
-        paragraph = paragraph.lower()
+      paragraph = cleanup_text(paragraph)
+
     list_sentence = split_paragraph_into_sentences(paragraph)
+
     final_speech = np.array([])
-    
     for sentence in list_sentence:
 
       inputs = processor(text=sentence, return_tensors="pt")
-      speech = model.generate_speech(inputs["input_ids"], speaker_embeddings,vocoder=vocoder)
+      spectrogram = model.generate_speech(inputs["input_ids"], speaker_embeddings)
+      with torch.no_grad():
+        speech = vocoder(spectrogram)
+
       final_speech = np.concatenate((final_speech,  speech.numpy()))
-      
-    sf.write("tts_example.wav", final_speech, samplerate=16000)
-    return "tts_example.wav"
+
+    final_speech = (final_speech * 32767).astype(np.int16)
+    return (16000, final_speech)
+    # sf.write("tts_example.wav", final_speech, samplerate=16000)
+    # return "tts_example.wav"
 
 tts_examples = [
     "xin chào mọi người, đây là sản phẩm thử nghiệm cho tiếng việt.",
     "Mình sẽ tổ chức sinh nhật vào thứ 6 ngày 7 tháng này",
+    "Mùa thu đã đến với sự thanh bình và mát mẻ. Trời cao trải dài một tấm bầu trời xanh thăm thẳm, và những tia nắng ấm áp từ mặt trời chiếu sáng tỏa rạng. Nhiệt độ trong khoảng từ 20 đến 25 độ Celsius khiến cho không khí trở nên dễ chịu, đủ để ta cảm nhận sự se lạnh của mùa thu đang về. Các cây cỏ bắt đầu thay đổi màu sắc, chuyển từ màu xanh tươi sang những gam màu ấm áp và rực rỡ. Mọi người bắt đầu khoác lên mình những chiếc áo len mỏng và khăn quàng cổ để giữ ấm. Mùa thu thật sự là thời điểm tuyệt vời để thưởng thức cái se lạnh dịu dàng và cảm nhận sự thay đổi của thiên nhiên."
 ]
 
+title = "SpeechT5:Text-To-Speech"
+
+description ="Nhập bất kỳ văn bản nào và mô hình sẽ chuyển nó thành giọng nói."
 #gradio interface
 iface = gr.Interface(
     fn=text_to_speech,
-    inputs=gr.Textbox(),
-    outputs=gr.Audio(),
-    title="Text-to-Speech",
-    examples=tts_examples,
-    description="Give me something to say!",
+    inputs=gr.Textbox("xin chào mọi người, đây là sản phẩm thử nghiệm cho tiếng việt.", label="Văn bản đầu vào"),
+    outputs=gr.Audio(label="Audio kết quả"),
+    title=title,
+    description=description,
+    examples=tts_examples
 )
-
 iface.launch()