Hugging Face's logo

mistral-community
/
Mixtral-8x22B-v0.1-AWQ

Text Generation
Transformers
Safetensors
mixtral
quantized
4-bit precision
AWQ
Mixture of Experts
Inference Endpoints
text-generation-inference
awq
Model card Files Community
5
Mixtral-8x22B-v0.1-AWQ
File size: 10,138 Bytes 
a3d4a67
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
5992b45
 
 
 
 
 
a3d4a67
5992b45
 
 
 
 
 
 
 
 
 
 
 
 
 
a3d4a67
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
5992b45
a3d4a67
 
 
 
 
 
 
5992b45
a3d4a67
5992b45
 
 
a3d4a67
5992b45
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
 
---
tags:
- quantized
- 4-bit
- AWQ
- transformers
- safetensors
- mixtral
- text-generation
- moe
- fr
- it
- de
- es
- en
- license:apache-2.0
- autotrain_compatible
- endpoints_compatible
- text-generation-inference
- region:us
model_name: Mixtral-8x22B-v0.1-AWQ
base_model: v2ray/Mixtral-8x22B-v0.1
inference: false
model_creator: v2ray
pipeline_tag: text-generation
quantized_by: MaziyarPanahi
language:
- en
- es
- de
- it
- fr
---
<img src="./mixtral-8x22b.jpeg" width="600" />

# Mixtral-8x22B-v0.1-AWQ

On April 10th, [@MistralAI](https://huggingface.co/mistralai) released a model named "Mixtral 8x22B," an 176B MoE via magnet link (torrent):

- 176B MoE with ~40B active
- Context length of 65k tokens
- The base model can be fine-tuned
- Requires ~260GB VRAM in fp16, 73GB in int4
- Licensed under Apache 2.0, according to their Discord
- Available on @huggingface (community)
- Utilizes a tokenizer similar to previous models

[MaziyarPanahi/Mixtral-8x22B-v0.1-AWQ](https://huggingface.co/MaziyarPanahi/Mixtral-8x22B-v0.1-AWQ) is a quantized (AWQ) version of [v2ray/Mixtral-8x22B-v0.1](https://huggingface.co/v2ray/Mixtral-8x22B-v0.1)

## How to use
### Install the necessary packages

```
pip install --upgrade accelerate autoawq transformers
```

### Example Python code


```python
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "MaziyarPanahi/Mixtral-8x22B-v0.1-AWQ"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id).to(0)

text = "Hello can you provide me with top-3 cool places to visit in Paris?"
inputs = tokenizer(text, return_tensors="pt").to(0)

out = model.generate(**inputs, max_new_tokens=300)
print(tokenizer.decode(out[0], skip_special_tokens=True))
```


## Credit

- [MistralAI](https://huggingface.co/mistralai) for opening the weights
- [v2ray](https://huggingface.co/v2ray/) for downloading, converting, and sharing it with the community [Mixtral-8x22B-v0.1](https://huggingface.co/v2ray/Mixtral-8x22B-v0.1)
- [philschmid](https://huggingface.co/philschmid) for the photo he shared on his Twitter

                                                                     ▄▄▄░░
                                                            ▄▄▄▄▄█████████░░░░
                                                ▄▄▄▄▄▄████████████████████░░░░░
                                             █████████████████████████████░░░░░
                        ▄▄▄▄▄▄█████░░░       █████████████████████████████░░░░░
             ▄▄▄▄▄██████████████████░░░░░░  ██████████████████████████████░░░░░
      ▄█████████████████████████████░░░░░░░░██████████████████████████████░░░░░
      ███████████████████████████████░░░░░░░██████████████████████████████░░░░░
      ███████████████████████████████░░░░░░░██████████████████████████████░░░░░
      ███████████████████████████████░░░░░░███████████████████████████████░░░░░
      ████████████████████████████████░░░░░███████████████████████████████░░░░░
      ████████████████████████████████░░░░████████████████████████████████░░░░░
      █████████████████████████████████░░░████████████████████████████████░░░░░
      █████████████████████████████████░░░████████████░███████████████████░░░░░
      ██████████████████████████████████░█████████████░███████████████████░░░░░
      ███████████████████░██████████████▄█████████████░███████████████████░░░░░
      ███████████████████░███████████████████████████░░███████████████████░░░░░
      ███████████████████░░██████████████████████████░░███████████████████░░░░░
      ███████████████████░░█████████████████████████░░░███████████████████░░░░░
      ███████████████████░░░████████████████████████░░░███████████████████░░░░░
      ███████████████████░░░████████████████████████░░░███████████████████░░░░░
      ███████████████████░░░░██████████████████████░░░░███████████████████░░░░░
      ███████████████████░░░░██████████████████████░░░░███████████████████░░░░░
      ███████████████████░░░░░█████████████████████░░░░███████████████████░░░░░
      ███████████████████░░░░░████████████████████░░░░░███████████████████░░░░░
      ███████████████████░░░░░░███████████████████░░░░░███████████████████░░░░░
      ███████████████████░░░░░░██████████████████░░░░░░███████████████████░░░░░
      ███████████████████░░░░░░░█████████████████░░░░░░███████████████████░░░░░
      ███████████████████░░░░░░░█████████████████░░░░░░███████████████████░░░░░
      ███████████████████░░░░░░░░███████████████░░░░░░░██████████░░░░░░░░░░░░░░
      ███████████████████░░░░░░░░███████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░
      ███████████████████░░░░░░░░███████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░
      ███████████████████░░░░░░░░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░
      ███████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░
      ██████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░  ░░░░░░░
          ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░      ░░░
                ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░    ░░░░░░░░░░░░░░░░░░
                   ░░░░░░░░░░░░░░░░░░░░░░░░░░░░
                        ░░░░░░░░░░░░░░░░░
                           ░░░░░