发布时辰:2024-08-03 03:10

阅读量:0

ollama是大模子部署决策，对应docker，本色亦然基于docker的容器化技巧。

从前边的著述不错看到，部署大模子作念的准备职责是比拟繁琐的，包括各个措施的版块对应。ollama提供了一个很好的处治决策。

ollama主要针对主流的LLaMA架构的开源大模子贪图，何况已被LangChain、Taskweaver等在内的多个热点神气高度集成。同期ollama提供了openAI兼容的api，不错最大驱散的减少剖判和确立资本。

一、下载安设ollama1.1 安设

官方地址：https://ollama.com/

开源地址：https://github.com/ollama/ollama

图片

下载后双击安设：

图片

通盘下一步即可。

1.2 老到

ollama安设后默许依然启动，咱们不错通过考核其提供的api劳动来进行老到。

参考官方文档：ollama的api · ollama/ollama · GitHub

这里运转ollama的机器为windows系统， ip为192.168.3.154。

1.2.1 通过localhost老到

运转号令： 

> curl http://localhost:11434/api/generate -d "{\"model\": \"qwen2\"，\"prompt\": \"who are you?\"，\"stream\":false}"

搜检后果：

图片

这里注意两点：

1、不要使用POWERSHELL(内部的CURL参数不相同)，使用 CMD 梗概 GIT CMD 。

2、注意参数的引号，通过斜杠 \ 来转义。 

1.2.2 通过IP地址老到

运转号令： 

> curl http://192.168.3.154:11434/api/generate -d "{\"model\": \"qwen2\"，\"prompt\": \"who are you?\"，\"stream\":false}"

搜检后果：

图片

教导相连不上："CURL: (7) FAILED TO CONNECT TO 192.168.3.154 PORT 11434 AFTER 2021 MS: COULDN'T CONNECT TO SERVER"。 

这是因为ollama安设后默许只可腹地考核，接下来设立云尔考核api。

1.3 设立

这里设立主如果因为两个需求：云尔不错考核ollama的api接口劳动以及自界说大模子存放旅途。

ollama默许把大模子保存在旅途 用户目次/.ollama/models 下：

图片

基于各式原因，咱们可能不但愿使用这个默许旅途，不错通过环境变量的设立来篡改大模子保存的目次。

添加环境变量 OLLAMA淫人阁_HOST 以及 OLLAMA_MODELS：

图片

- OLLAMA_HOST，0.0.0.0， 设立后不错云尔考核；

- OLLAMA_MODELS， c:\ai\llms_ollama，设立后ollama拉取的大模子会存放在此旅途；

这里有垂危的一步，需要重启OLLAMA，使设立见效。

在职务栏的ollama图标上点击右键，接收“Quit Ollama”退出ollama：

图片

然后再行灵通ollama：

图片

1.4 再行老到

这里通过IP地址再行进行老到。

1.4.1 windows系统

运转号令：

> curl http://192.168.3.154:11434/api/generate -d "{\"model\": \"qwen2\"，\"prompt\": \"who are you?\"，\"stream\":false}"

复返后果： 

图片

1.4.2 linux系统和mac系统

生成Completion：

> curl http://192.168.3.154:11434/api/generate -d '{"model": "qwen2"，"prompt": "who are you?"，"stream":false}'

复返后果：

图片

这里注意参数的体式，和WINDOWS系统不相同，引号在这里径直使用不需要转义。 

生成Chat Completion：

翁雨澄 肛交

> curl http://192.168.3.154:11434/api/chat -d '{   "model": "qwen2"，   "messages": [     {       "role": "user"，       "content": "who are you?"     }   ]，   "stream": false }'

复返后果：

图片

 二、部署运转大模子

接下来便是执行来部署一个大模子，这里以llama3为例。

 2.1 赢得大模子部署号令

在ollama官网搜索llama3大模子：https://ollama.com/library

图片

接收第一个llama3参加大模子征服页：

图片

在上图不错看到默许有三个标签不错接收：最新版、8B和70B，这里咱们接收 8B的，是以咱们需要运转 ollama run llama3。如果咱们需要部署70B的，则需要运转 ollama run llama3:70b。

2.2 部署大模子

咱们不错径直运转 ollama run llama3，如果llama3莫得下载过则会下载，不然径直运转。也不错先下载然后运转：

> ollama pull llama3 > ollama run llama3

不错看到，使用面目跟docker是相同的，大模子对应了docker中的镜像。

下载完后会教导奏凯：

图片

2.3 和大模子交互

接下来不错径直跟llama3对话，在三个箭头➡️后输入问题，llama3会给出汇报：

图片

不错看到ollama奏凯部署了大模子，并奏凯运转。 

三、在LangChain中使用Ollama3.1 通过jupyter来运转3.1.1 安设jupyter

参考 【AI器用】jupyter notebook和jupyterlab对比和安设-CSDN博客 安设jupyterlab。

3.1.2 新建一个notebook

图片

在新的文献中输入如下代码：

# 引入ollama from langchain_community.chat_models import ChatOllama  # 加载llama3模子 ollama_llm = ChatOllama(model="llama3")  # 构造Message from langchain_core.messages import HumanMessage  messages = [     HumanMessage(         content="你好，请你先容一下你我方"，     ) ]  # 发送Message chat_model_response = ollama_llm.invoke(messages)  # 输入Message chat_model_response

图片

这里有个细节，代码一共是五个输入块，这是为了在出错时，不错快速定位是哪一块出了问题。3.1.3 运转

咫尺把鼠标定位在第一转，点击器用栏的运转按钮，一步一步的运转，运转5步后，输出了AI的自我先容：

图片

这么在LangChain中通过ollama，径直调用了大模子。

不错再问一次二的问题：

图片

3.2 径直通过python运转3.2.1 安设LangChain环境

参考 ：【AI基础】第四步：保姆喂饭级-langchain+chatglm2-6b+m3e-base_m3e-base

3.2.2 新建python文献

输入代码：

# 引入ollama from langchain_community.chat_models import ChatOllama # 加载llama3模子 ollama_llm = ChatOllama(model="llama3") # 构造Message from langchain_core.messages import HumanMessage messages = [     HumanMessage(         content="你好，请你先容一下你我方"，     ) ] # 发送Message chat_model_response = ollama_llm.invoke(messages) # 输入Message chat_model_response

3.2.3 运转

施行号令运转：

> python dev_ollama.py

图片

运转奏凯。 

AI

东谈主工智能

LLAMA

本站仅提供存储劳动，通盘内容均由用户发布，如发现存害或侵权内容，请点击举报。