Model Details

Model Description

Developed by: AITA
Model type: Full-Precision Text Generation LLM (FP16 GGUF format)
Original Model: https://huggingface.co/qiuhuachuan/MeChat
Precision: FP16 (non-quantized full-precision version)

Repository

GGUF Converter: llama.cpp
Huggingface Hub: https://huggingface.co/Slipstream-Max/MeChat-chatglm2-6b-GGUF-fp16

Usage

Method 1: llama.cpp Backend Server + Chatbox

Step 1: Start .llama.cpp Server

./llama-server \
  -m /path/to/model.gguf \
  -c 2048 \          # Context length
  --host 0.0.0.0 \   # Allow remote connections
  --port 8080 \      # Server port
  --n-gpu-layers 35  # GPU acceleration (if available)

Step 2: Connect via Chatbox

Download Chatbox

Configure API endpoint:

API URL: http://localhost:8080
Model: (leave empty)
API Type: llama.cpp

Set generation parameters:

{
  "temperature": 0.7,
  "max_tokens": 512,
  "top_p": 0.9
}

Method 2: LM Studio

Download LM Studio
Load GGUF file:
- Launch LM Studio
- Search Slipstream-Max/Emollm-InternLM2.5-7B-chat-GGUF-fp16

Configure settings:

Context Length: 2048
GPU Offload: Recommended (enable if available)
Batch Size: 512

Start chatting through the built-in UI

Precision Details

Filename	Precision	Size	Characteristics
mechat.gguf	FP16	[12.5GB]	Full original model precision

Hardware Requirements

Minimum:

16GB RAM (for 6B model)
CPU with AVX/AVX2 instruction set support

Recommended:

20GB+ RAM
CUDA-capable GPU (for acceleration)
Fast SSD storage (due to large model size)

Key Notes

Requires latest llama.cpp (v3+ recommended)
Use --n-gpu-layers 35 for GPU acceleration (requires CUDA-enabled build)
Initial loading takes longer (2-5 minutes)
Requires more memory/storage than quantized versions
Use --mlock to prevent swapping

Advantages

Preserves original model precision
Ideal for precision-sensitive applications
No quantization loss
Suitable for continued fine-tuning

Ethical Considerations

These are text from original repo.

我们的心理健康支持对话机器人（以下简称"机器人"）旨在为用户提供情感支持和心理健康建议。然而，机器人不是医疗保健专业人员，不能替代医生、心理医生或其他专业人士的意见、诊断、建议或治疗。

机器人提供的建议和信息是基于算法和机器学习技术，可能并不适用于所有用户或所有情况。因此，我们建议用户在使用机器人之前咨询医生或其他专业人员，了解是否适合使用此服务。

机器人并不保证提供的建议和信息的准确性、完整性、及时性或适用性。用户应自行承担使用机器人服务的所有风险。我们对用户使用机器人服务所产生的任何后果不承担任何责任，包括但不限于任何直接或间接的损失、伤害、精神疾病、财产损失或任何其他损害。

我们强烈建议用户在使用机器人服务时，遵循以下原则：

机器人并不是医疗保健专业人士，不能替代医生、心理医生或其他专业人士的意见、诊断、建议或治疗。如果用户需要专业医疗或心理咨询服务，应寻求医生或其他专业人士的帮助。

机器人提供的建议和信息仅供参考，用户应自己判断是否适合自己的情况和需求。如果用户对机器人提供的建议和信息有任何疑问或不确定，请咨询医生或其他专业人士的意见。

用户应保持冷静、理性和客观，不应将机器人的建议和信息视为绝对真理或放弃自己的判断力。如果用户对机器人的建议和信息产生质疑或不同意，应停止使用机器人服务并咨询医生或其他专业人士的意见。

用户应遵守机器人的使用规则和服务条款，不得利用机器人服务从事任何非法、违规或侵犯他人权益的行为。

用户应保护个人隐私，不应在使用机器人服务时泄露个人敏感信息或他人隐私。

平台收集的数据用于学术研究。

最后，我们保留随时修改、更新、暂停或终止机器人服务的权利，同时也保留对本免责声明进行修改、更新或补充的权利。如果用户继续使用机器人服务，即视为同意本免责声明的全部内容和条款。

Citation

@misc{qiu2023smile,
      title={SMILE: Single-turn to Multi-turn Inclusive Language Expansion via ChatGPT for Mental Health Support},
      author={Huachuan Qiu and Hongliang He and Shuai Zhang and Anqi Li and Zhenzhong Lan},
      year={2023},
      eprint={2305.00450},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

Slipstream-Max
/

MeChat-chatglm2-6b-GGUF-fp16