|
|
--- |
|
|
license: apache-2.0 |
|
|
language: de |
|
|
tags: |
|
|
- pytorch |
|
|
- generative |
|
|
- language-model |
|
|
- decoder-only |
|
|
- tiny-shakespeare |
|
|
- autoregressive |
|
|
pipeline_tag: text-generation |
|
|
widget: |
|
|
- text: Die |
|
|
datasets: |
|
|
- karpathy/tiny_shakespeare |
|
|
metrics: |
|
|
- accuracy |
|
|
--- |
|
|
|
|
|
# Mein kleines Shakespeare-Sprachmodell |
|
|
|
|
|
Dieses ist ein kleines, autoregressives Sprachmodell, das nach dem Decoder-only-Transformer-Ansatz mit PyTorch implementiert wurde. Es wurde auf dem Tiny Shakespeare-Datensatz trainiert, um zu lernen, Text im Stil von Shakespeare zu generieren. |
|
|
|
|
|
## Modell-Details |
|
|
|
|
|
* **Architektur:** Decoder-only Transformer mit `nn.TransformerDecoderLayer` und `nn.TransformerDecoder` aus PyTorch. |
|
|
* **Anzahl der Parameter:** Weniger als 1 Million. |
|
|
* **Trainingsdaten:** Tiny Shakespeare Datensatz. |
|
|
* **Tokenizer:** Verwendet wurde der `GPT2Tokenizer`. |
|
|
|
|
|
* vocab_size = tokenizer.vocab_size |
|
|
* Batch Size = 32 |
|
|
* Block Size = 128 |
|
|
* embed_size = 8 |
|
|
* num_layers = 1 |
|
|
* heads = 1 |
|
|
* dropout = 0.1 |
|
|
* forward_expansion = 1 |
|
|
* Learning rate = 1e-4 |
|
|
* Optimizer = AdamW |
|
|
* Epochen = 5 |
|
|
|
|
|
## Verwendungsweise |
|
|
|
|
|
Du kannst dieses Modell verwenden, um Text im Stil von Shakespeare zu generieren. Hier ist ein einfaches Beispiel, wie du es mit der `transformers`-Bibliothek laden und verwenden kannst (beachte, dass möglicherweise eine benutzerdefinierte Modellklasse oder eine angepasste Konfiguration erforderlich ist, da es sich nicht um ein direkt unterstütztes `transformers`-Modell handelt): |
|
|
|
|
|
```python |
|
|
from transformers import AutoTokenizer, AutoModelForCausalLM |
|
|
|
|
|
# Hinweis: Möglicherweise ist eine benutzerdefinierte Modellklasse oder Konfiguration erforderlich |
|
|
# da es sich nicht um ein Standard-transformers-Modell handelt. |
|
|
|
|
|
model_name = "DeinNutzername/DeinModellName" # Ersetze dies durch den tatsächlichen Namen deines Modells |
|
|
tokenizer = AutoTokenizer.from_pretrained(model_name) |
|
|
# model = AutoModelForCausalLM.from_pretrained(model_name) # Dies funktioniert möglicherweise nicht direkt |
|
|
|
|
|
# Beispielhafte Verwendung (kann angepasst werden) |
|
|
prompt = "Die " |
|
|
input_ids = tokenizer.encode(prompt, return_tensors="pt") |
|
|
|
|
|
# Generiere Text (die genaue Implementierung hängt davon ab, wie das Modell geladen wird) |
|
|
# output = model.generate(input_ids, max_length=100, num_return_sequences=1) |
|
|
# generated_text = tokenizer.decode(output[0], skip_special_tokens=True) |
|
|
# print(generated_text) |
