如何配置大模型?
- 模型效果说明(供参考):https://github.com/lenML/lenml-llm-leaderboard
- 模型排行榜:https://lenml.github.io/lenml-llm-leaderboard
Ollama
默认ollama server地址:http://127.0.0.1:11434
不需要api key
OpenAI
你可以使用openai来访问所有openai模型,例如gpt-4, gpt-4o, gpt-4o-mini等。
默认openai server地址:https://api.openai.com
需要api key
当你使用其他代理转发provider时,请修改api url
Anthropic
你可以使用anthropic来访问所有anthropic模型,例如claude, sonnet, etc.
默认anthropic server地址:https://api.anthropic.com
需要api key
当你使用其他代理转发provider时,请修改api url
SiliconFlow
你可以使用siliconflow来访问所有siliconflow模型,例如Qwen/Qwen2.5-7B-Instruct, THUDM/glm-4-9b-chat.
默认siliconflow server地址:https://api.siliconflow.ai
需要api key
它使用openai官方python sdk来访问
OpenAI-API-Compatible
也支持openai api兼容,你可以使用openai官方python sdk来访问。 你需要设置api key和api url,并设置一个自定义名称作为provider。