del json files

Modelfile

@@ -1,8 +0,0 @@
-# ollama modelfile auto-generated by llamafactory
-
-FROM .
-
-TEMPLATE """<｜begin▁of▁sentence｜>{{ if .System }}{{ .System }}{{ end }}{{ range .Messages }}{{ if eq .Role "user" }}<｜User｜>{{ .Content }}<｜Assistant｜>{{ else if eq .Role "assistant" }}{{ .Content }}<｜end▁of▁sentence｜>{{ end }}{{ end }}"""
-
-PARAMETER stop "<｜end▁of▁sentence｜>"
-PARAMETER num_ctx 4096

README.md

@@ -1,100 +0,0 @@
-# DeepSeek-R1-Distill-SRE-Qwen-32B-INT8
-
-## 模型简介
-
-`DeepSeek-R1-Distill-SRE-Qwen-32B-INT8` 是一个基于 `DeepSeek-R1-Distill-Qwen-32B` 模型进一步微调的专业化混合精度的 8-bit 量化大语言模型，专为 **DevOps** 与 **站点可靠性工程（SRE）** 场景优化。该模型继承了 DeepSeek-R1 系列强大的推理能力，通过使用 [ahmedgongi/Devops_LLM](https://huggingface.co/datasets/ahmedgongi/Devops_LLM) 数据集进行领域微调，显著提升了在以下任务中的实用性：
-
-- 自动化脚本生成
-- 系统监控分析
-- 故障排查与根因定位
-
-该模型适用于企业级系统管理、云原生运维平台开发等场景，为智能运维领域提供了兼顾性能与成本的高效解决方案。当前版本采用 8-bit 量化（INT8），通过 `bitsandbytes` 实现混合精度优化，线性层权重存储为 `torch.int8`，其他部分（如 Embeddings 和 LayerNorm）保持 `torch.float16`。
-
-我们欢迎社区用户测试并分享使用经验，共同完善模型文档和应用场景！
-
----
-
-## 模型文件和权重
-
-- **模型文件**:  
-  模型权重以 huggingface.co 支持的标准格式存储（如 `.safetensors` 或 `.bin`），位于此仓库的根目录。  
-  示例文件结构：
-  ```
-  ├── config.json
-  ├── model.safetensors
-  ├── tokenizer.json
-  └── ...
-  ```
-
-- **量化信息**:  
-  该模型采用 8-bit 量化（INT8），线性层权重为 `torch.int8`，非量化部分（如 Embeddings、LayerNorm）为 `torch.float16`，通过 `bitsandbytes` 实现混合精度优化。
-
----
-
-## 如何使用模型进行推理
-
-本模型支持高效推理，已验证兼容 `vLLM` 和 `SGLang` 框架，以下提供SGLang使用示例(推荐)。
----
-
-### 1. 使用 SGLang 进行推理
-`SGLang` 是一个高性能服务框架，适合复杂运维任务的快速推理。
-
-#### 环境准备
-```bash
-pip install sglang
-```
-
-#### 启动 SGLang 服务
-```bash
-python -m sglang.launch_server --model-path [你的用户名]/DeepSeek-R1-Distill-SRE-Qwen-32B-INT8 --quant bitsandbytes --port 30000
-```
-
-#### Python 推理示例
-```python
-import openai
-client = openai.Client(
-    base_url="http://127.0.0.1:30000/v1", api_key="EMPTY")
-# Chat completion
-response = client.chat.completions.create(
-    model="default",
-    messages=[
-        {"role": "system", "content": "你是一位资深运维专家"},
-        {"role": "user", "content": "分析以下日志并定位可能的故障原因：'2023-10-10 12:00:00 ERROR: Disk I/O timeout'。"},
-    ],
-    temperature=0,
-    max_tokens=2048,
-)
-print(response.choices[0].message.content)
-```
-
----
-
-## 模型细节
-
-- **基础模型**: `DeepSeek-R1-Distill-Qwen-32B`
-- **微调数据集**: [ahmedgongi/Devops_LLM](https://huggingface.co/datasets/ahmedgongi/Devops_LLM)
-- **量化**: 8-bit INT8（线性层权重），FP16（Embeddings、LayerNorm 等）
-- **兼容框架**: `bitsandbytes`、`vLLM`、`SGLang`
-- **推荐硬件**: NVIDIA GPU（支持 CUDA），推荐建议 48GB*2+ VRAM 以加载完整模型
-
----
-
-## 使用场景
-
-- **自动化运维**: 生成脚本、配置管理。
-- **系统监控**: 分析指标、生成告警规则。
-- **故障排查**: 日志解析、根因分析。
-
-该模型在 SRE 和 DevOps 场景中表现出色，尤其适合需要快速响应和资源优化的企业级应用。
-
----
-
-## 社区贡献
-
-由于当前文档信息有限，我们鼓励社区参与：
-- 在 huggingface.co 中的【交流反馈】提出问题、使用案例或改进建议。
-- 提交 Pull Request 以补充模型细节、优化推理代码或分享运维相关的 Prompt 示例。
-
-感谢你的使用与支持！如果有任何问题，请随时联系，微信：yorkoliu。
-
----

model-00001-of-00014.safetensors

@@ -1,3 +0,0 @@
-version https://git-lfs.github.com/spec/v1
-oid sha256:ebe5662e261ac0b4215722c0aa06cdb9bf4c5e2a13c24fbabb475721a12d1420
-size 4891730992

model-00002-of-00014.safetensors

@@ -1,3 +0,0 @@
-version https://git-lfs.github.com/spec/v1
-oid sha256:5dded4632e17a691da3506d77225a1aa57f4eb93a282913bbceff58a1c494cde
-size 4876059352

model-00003-of-00014.safetensors

@@ -1,3 +0,0 @@
-version https://git-lfs.github.com/spec/v1
-oid sha256:b287c57b92d2c8829055b4bdbec8bfd2ed44bc75266e4c9e41135b9510e81c5a
-size 4876059384

model-00004-of-00014.safetensors

@@ -1,3 +0,0 @@
-version https://git-lfs.github.com/spec/v1
-oid sha256:7562e04eae4989bc253e724b5b50de7446f79cb4fa08135427fe3cca8cabeae4
-size 4876059416

model-00005-of-00014.safetensors

@@ -1,3 +0,0 @@
-version https://git-lfs.github.com/spec/v1
-oid sha256:daac4b53feb4d9d12689cbeb2513b20b92ce4407855b5bb6d20224b0a8c516ce
-size 4876059416

model-00006-of-00014.safetensors

@@ -1,3 +0,0 @@
-version https://git-lfs.github.com/spec/v1
-oid sha256:b5fbc47a86676f5b33fde274f4946b3ddac53048b8b3a60b9184fad090087b2e
-size 4876059416

model-00007-of-00014.safetensors

@@ -1,3 +0,0 @@
-version https://git-lfs.github.com/spec/v1
-oid sha256:8590b6722f5cfd10e6aff0aa9fa490ef557b8549b7bc720450bc3d1949fbb473
-size 4876059416

model-00008-of-00014.safetensors

@@ -1,3 +0,0 @@
-version https://git-lfs.github.com/spec/v1
-oid sha256:14a26d571188fa7d332066f7c33c99c94af69bcce1fbfc34a263dd4cf53d49dc
-size 4876059416

model-00009-of-00014.safetensors

@@ -1,3 +0,0 @@
-version https://git-lfs.github.com/spec/v1
-oid sha256:376665fec7c03454a41f8184428de9e01341202d7f8e146c6ff2b7a4d844dd08
-size 4876059416

model-00010-of-00014.safetensors

@@ -1,3 +0,0 @@
-version https://git-lfs.github.com/spec/v1
-oid sha256:f9ba5c0869f81b1e376a17ce538da1604bc7516facc190bc168431c8903abed9
-size 4876059416

model-00011-of-00014.safetensors

@@ -1,3 +0,0 @@
-version https://git-lfs.github.com/spec/v1
-oid sha256:46680473671558242e18fc6292d33e83e56ef988c0dad13fc558ebc5b3943da7
-size 4876059416

model-00012-of-00014.safetensors

@@ -1,3 +0,0 @@
-version https://git-lfs.github.com/spec/v1
-oid sha256:51bcfab47e0997ad98970e2598fbfaa681701422289217c46856daac4993ae30
-size 4876059416

model-00013-of-00014.safetensors

@@ -1,3 +0,0 @@
-version https://git-lfs.github.com/spec/v1
-oid sha256:447e28aef9be06f3c39e78de9e290ba2319c1f37290b0e9f1b27f0024ef5799b
-size 4876059416

model-00014-of-00014.safetensors

@@ -1,3 +0,0 @@
-version https://git-lfs.github.com/spec/v1
-oid sha256:2225b626fc9e21643299258a3b7b7705810c2c497427a49c583e9ec75fc6b02f
-size 2123397800