---
license: mit
language:
- de
- en
base_model:
- microsoft/Phi-3.5-mini-instruct
tags:
- German
- Instruct
- CEREBORN
- Conversations
- Classification
- reasoning
- memory
- ger
- ggup
model-index:
- name: CEREBORN-german
  results: []
---
# ✅ Model Card for CEREBORN_german

**3Step Version**
I just (14.03.25) added a new "3step Model" als **GGUP** that implements a *3 step reasoning, answer and remembering process* for cereborn-german.

**CEREBORN-german** is a neat little model built on top of **Phi 3.5 4B Instruct**, fine-tuned via LoRA on an A100 using carefully curated data. 
We ended up adjusting about **5.5%** of the parameters, hit a **0.76 loss** on our eval set, and chugged through **1.2 billion tokens** during training. 
This project came about because we needed a smaller language model that speaks German like a pro, responds quickly, and handles instruct tasks with ease. The model was fine-tuned by **Thom Heinrich** (Linguist & AI Guy @ Big4). 
If you want to reach out, feel free to connect on [LinkedIn](https://www.linkedin.com/in/thomas-heinrich/).

# ✅ Model Details
CEREBORN-german is primarily designed as a compact local model for generating conversational German responses. 
It also excels at understanding and classifying German texts (e.g., extracting entities, topics, relationships, and more). 
It’s part of the broader *CEREBORN* framework ([www.cereborn.com](http://www.cereborn.com)) and is optimized for use 
with *laitly* ([www.laitly.com](http://www.laitly.com)) and *chunkyDB* ([www.chunkydb.com](http://www.chunkydb.com)). 

As of **2025-03-10**, those domains aren’t live just yet, but stay tuned!

# ✅ Examples

Here are some unedited examples:

❓ **Was ist ein Quantencomputer?**

❗ *Ein Quantencomputer ist ein Computer, der die Prinzipien der Quantenmechanik verwendet, um Berechnungen durchzuführen. Während ein herkömmlicher Computer mit Bits arbeitet, die entweder einen binären Zustand von 0 oder 1 annehmen können, verwenden Quantencomputer Qubits, die Zustände von 0, 1 und alles dazwischen annehmen können. Diese Eigenschaft, bekannt als Superposition, ermöglicht es Quantencomputern, viele Berechnungen gleichzeitig durchzuführen und somit eine exponentielle Steigerung der Rechenleistung im Vergleich zu traditionellen Computern zu erreichen.*

❓ **Fasse die Geschichte von Goethes Faust in 5 Sätzen zusammen!**

❗ *Faust, ein Gelehrter, ist unzufrieden mit seinem Leben und schließt einen Pakt mit Mephistopheles, um die ultimative menschliche Erfahrung zu erlangen. Sie reisen zu verschiedenen Orten und erleben verschiedene Lebensstile, aber Faust ist immer noch unzufrieden. Faust wird von Mephistopheles dazu gebracht, eine Frau namens Gretchen zu lieben, und ihre Beziehung führt zu ihrem tragischen Ende. Faust erkennt, dass er seine Liebe zu Gretchen und die Konsequenzen seines Pakts nicht mehr ignorieren kann. In einem letzten Versuch, Erlösung zu finden, opfert sich Faust und wird in den Himmel aufgenommen.*

❓ **Schreibe einen kurzen Werbepost für ein orthopädisches Hundebett!**

❗ *Erlebe die ultimative Komfortzone für deinen pelzigen Freund mit unserem neu gestalteten orthopädischen Hundebett! Unsere innovative Konstruktion bietet eine maßgeschneiderte Unterstützung für deinen Hund, die seine natürliche Bewegung fördert und gleichzeitig Schmerzen lindert. Von der hochwertigen, atmungsaktiven Stoffauswahl bis hin zur maßgeschneiderten Form: Das orthopädische Hundebett ist darauf ausgelegt, deinem tierischen Begleiter das Leben zu erleichtern.*


# ✅ Training results
| Training Loss | Epoch  | Step | Validation Loss | Input Tokens Seen |
|:-------------:|:------:|:----:|:---------------:|:-----------------:|
| 0.849         | 0.2210 | 280  | 0.8296          | 92108800          |
| 0.8254        | 0.4420 | 560  | 0.8104          | 184217600         |
| 0.8036        | 0.6630 | 840  | 0.7972          | 276326400         |
| 0.8005        | 0.8841 | 1120 | 0.7879          | 368435200         |
| 0.7892        | 1.1058 | 1400 | 0.7814          | 460626240         |
| 0.7827        | 1.3268 | 1680 | 0.7769          | 552735040         |
| 0.7731        | 1.5478 | 1960 | 0.7729          | 644843840         |
| 0.7763        | 1.7688 | 2240 | 0.7700          | 736952640         |
| 0.7728        | 1.9898 | 2520 | 0.7677          | 829061440         |
| 0.7682        | 2.2115 | 2800 | 0.7661          | 921252480         |
| 0.7597        | 2.4326 | 3080 | 0.7652          | 1013361280        |
| 0.764         | 2.6536 | 3360 | 0.7646          | 1105470080        |
| 0.7626        | 2.8746 | 3640 | 0.7644          | 1197578880        |


# ✅ Environment
The model was trained **entirely sustainable** on hyperstack.

# ✅ Sources
CEREBORN-german is a fine-tuned version of [microsoft/Phi-3.5-mini-instruct](https://huggingface.co/microsoft/Phi-3.5-mini-instruct).