Spaces:
				
			
			
	
			
			
		Runtime error
		
	
	
	
			
			
	
	
	
	
		
		
		Runtime error
		
	
		binary-husky
		
	commited on
		
		
					Update README.md
Browse files
    	
        README.md
    CHANGED
    
    | @@ -110,16 +110,15 @@ python -m pip install -r requirements.txt | |
| 110 |  | 
| 111 | 
             
            【非必要可选步骤】如果需要支持清华ChatGLM/复旦MOSS作为后端,需要额外安装更多依赖(前提条件:熟悉Python + 用过Pytorch + 电脑配置够强):
         | 
| 112 | 
             
            ```sh
         | 
| 113 | 
            -
            # 【非必要可选步骤I】支持清华ChatGLM
         | 
| 114 | 
             
            python -m pip install -r request_llm/requirements_chatglm.txt  
         | 
| 115 | 
            -
            ## 清华ChatGLM备注:如果遇到"Call ChatGLM fail 不能正常加载ChatGLM的参数" 错误,参考如下: 1:以上默认安装的为torch+cpu版,使用cuda需要卸载torch重新安装torch+cuda; 2:如因本机配置不够无法加载模型,可以修改request_llm/bridge_chatglm.py中的模型精度, 将 AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True) 都修改为 AutoTokenizer.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True)
         | 
| 116 |  | 
| 117 | 
             
            # 【非必要可选步骤II】支持复旦MOSS
         | 
| 118 | 
             
            python -m pip install -r request_llm/requirements_moss.txt
         | 
| 119 | 
             
            git clone https://github.com/OpenLMLab/MOSS.git request_llm/moss  # 注意执行此行代码时,必须处于项目根路径
         | 
| 120 |  | 
| 121 | 
             
            # 【非必要可选步骤III】确保config.py配置文件的AVAIL_LLM_MODELS包含了期望的模型,目前支持的全部模型如下(jittorllms系列目前仅支持docker方案):
         | 
| 122 | 
            -
            AVAIL_LLM_MODELS = ["gpt-3.5-turbo", "api2d-gpt-3.5-turbo", "gpt-4", "api2d-gpt-4", "chatglm", "newbing", "moss" | 
| 123 | 
             
            ```
         | 
| 124 |  | 
| 125 | 
             
            4. 运行
         | 
|  | |
| 110 |  | 
| 111 | 
             
            【非必要可选步骤】如果需要支持清华ChatGLM/复旦MOSS作为后端,需要额外安装更多依赖(前提条件:熟悉Python + 用过Pytorch + 电脑配置够强):
         | 
| 112 | 
             
            ```sh
         | 
| 113 | 
            +
            # 【非必要可选步骤I】支持清华ChatGLM。清华ChatGLM备注:如果遇到"Call ChatGLM fail 不能正常加载ChatGLM的参数" 错误,参考如下: 1:以上默认安装的为torch+cpu版,使用cuda需要卸载torch重新安装torch+cuda; 2:如因本机配置不够无法加载模型,可以修改request_llm/bridge_chatglm.py中的模型精度, 将 AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True) 都修改为 AutoTokenizer.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True)
         | 
| 114 | 
             
            python -m pip install -r request_llm/requirements_chatglm.txt  
         | 
|  | |
| 115 |  | 
| 116 | 
             
            # 【非必要可选步骤II】支持复旦MOSS
         | 
| 117 | 
             
            python -m pip install -r request_llm/requirements_moss.txt
         | 
| 118 | 
             
            git clone https://github.com/OpenLMLab/MOSS.git request_llm/moss  # 注意执行此行代码时,必须处于项目根路径
         | 
| 119 |  | 
| 120 | 
             
            # 【非必要可选步骤III】确保config.py配置文件的AVAIL_LLM_MODELS包含了期望的模型,目前支持的全部模型如下(jittorllms系列目前仅支持docker方案):
         | 
| 121 | 
            +
            AVAIL_LLM_MODELS = ["gpt-3.5-turbo", "api2d-gpt-3.5-turbo", "gpt-4", "api2d-gpt-4", "chatglm", "newbing", "moss"] # + ["jittorllms_rwkv", "jittorllms_pangualpha", "jittorllms_llama"]
         | 
| 122 | 
             
            ```
         | 
| 123 |  | 
| 124 | 
             
            4. 运行
         |