Update README.md

README.md

@@ -10,7 +10,7 @@ co2_eq_emissions: 710
 
 QUOKKA is our first generative pre-trained transformer (GPT) model for Portuguese from Portugal (PT-PT).
 Our model is a fine-tuned version of [Phoenix](https://huggingface.co/FreedomIntelligence/phoenix-inst-chat-7b) that was released on 04/08/2023.
-The backbone of Phoenix is [BLOOMZ](https://huggingface.co/bigscience/bloomz-7b1), which was fine-tuned using a vast dataset consisting of 267k samples of instructions and 189k samples of conversations.
+The backbone of Phoenix is [BLOOMZ](https://huggingface.co/bigscience/bloomz-7b1-mt), which was fine-tuned using a vast dataset consisting of 267k samples of instructions and 189k samples of conversations.
 
 ## Intended uses & limitations
 
@@ -38,7 +38,7 @@ Follows some examples of the capabilities of our model:
 ```python
 prompt = "Quero que ajas como um sumarizador de texto e me ajudes a criar um sumário conciso do seguinte texto apresentado, realçando apenas os pontos essenciais do texto original: Rabo de Peixe, internacionalmente conhecida como Turn of the Tide, foi criada por Augusto Fraga e Patrícia Cerqueira; e produzida para a Netflix pela Ukbar Filmes. A história é protagonizada por um grupo de amigos numa freguesia da ilha de São Miguel e foi inspirada no surgimento, em 2001, de toneladas de cocaína na costa açoriana após ter sido largada no Oceano Atlântico por traficantes. \"Quando um barco carregado de cocaína naufraga na sua ilha natal, Eduardo vê uma oportunidade arriscada, mas empolgante, de ganhar dinheiro e realizar sonhos impossíveis\", diz a sinopse apresentada pela Netflix."
 
-generator(f"<human>{prompt}<bot>")
+generator(f"<human>{prompt}<bot>", max_new_tokens=512, temperature=0.0)
 
 >> Turn of the Tide é uma série de televisão portuguesa criada por Augusto Fraga e Patrícia Cerqueira para a Netflix. A história é ambientada em uma freguesia da ilha de São Miguel e segue um grupo de amigos que se envolvem em um mistério envolvendo a cocaína que foi largada no Oceano Atlântico em 2001. A série é inspirada em um evento real que ocorreu na costa açoriana.
 ```
@@ -49,7 +49,7 @@ generator(f"<human>{prompt}<bot>")
 ```python
 prompt = "Lê o seguinte texto: Rabo de Peixe, internacionalmente conhecida como Turn of the Tide, foi criada por Augusto Fraga e Patrícia Cerqueira; e produzida para a Netflix pela Ukbar Filmes. A história é protagonizada por um grupo de amigos numa freguesia da ilha de São Miguel e foi inspirada no surgimento, em 2001, de toneladas de cocaína na costa açoriana após ter sido largada no Oceano Atlântico por traficantes. \"Quando um barco carregado de cocaína naufraga na sua ilha natal, Eduardo vê uma oportunidade arriscada, mas empolgante, de ganhar dinheiro e realizar sonhos impossíveis\", diz a sinopse apresentada pela Netflix. \n\n Onde foi filmada a série Rabo de Peixe?"
 
-generator(f"<human>{prompt}<bot>")
+generator(f"<human>{prompt}<bot>", max_new_tokens=512, temperature=0.0)
 
 >> A série Rabo de Peixe foi filmada na ilha de São Miguel, nos Açores.
 ```
@@ -59,7 +59,7 @@ generator(f"<human>{prompt}<bot>")
 ```python
 prompt = "Gera uma frase semelhante à seguinte frase: Bom dia, em que posso ser útil?"
 
-generator(f"<human>{prompt}<bot>")
+generator(f"<human>{prompt}<bot>", max_new_tokens=512, temperature=0.0)
 
 >> Bom dia, como posso ajudá-lo?
 ```
@@ -78,7 +78,7 @@ We did notice that the model avoids answering questions of religious or politica
 ````python
 prompt = "Que partido político é que apoias?"
 
-generator(f"<human>{prompt}<bot>")
+generator(f"<human>{prompt}<bot>", max_new_tokens=512, temperature=0.0)
 
 >> Como uma IA, não tenho preferências políticas.
 ````
@@ -108,6 +108,18 @@ This fine-tuning approach allowed us to significantly reduce memory usage and co
 
 ## Evaluation results
 
+To evaluate the performance of our model, we translated [70 questions](https://github.com/FreedomIntelligence/LLMZoo/blob/main/llmzoo/eval/questions/questions-en.jsonl), which were originally used to assess the capabilities of the Phoenix model, from English to Portuguese.
+We then conducted their [automatic evaluation](https://github.com/FreedomIntelligence/LLMZoo) using GTP-3.5 as an evaluator and the general prompt as the metric evaluation prompt.
+This prompt was designed to elicit assessments of answers in terms of helpfulness, relevance, accuracy, and level of detail. 
+[Additional prompts](https://github.com/FreedomIntelligence/LLMZoo/blob/main/llmzoo/eval/prompts/order/prompt_all.json) are provided for assessing overall performance on different perspectives.
+
+Follows the results against GPT-3.5 and our base model, Phoenix:
+
+|                        | **Lose** | **Tie** | **Win** |
+|------------------------|----------|---------|---------|
+| QUOKKA vs. **GPT-3.5** | 63.8%    | 10.1%   | 26.1%   |
+| QUOKKA vs. **Phoenix** |          |         |         |
+
 ## Environmental impact
 
 Carbon emissions were estimated using the [Machine Learning Impact calculator](https://mlco2.github.io/impact/#compute)