将windows上的Ollama大语言模型迁移到Linux

随笔3个月前发布 若相依
97 0 0

最近遇到了一个需求,在CentOS上用Ollama跑大语言模型,由于网络关系,需要用Ollama直接Pull模型到windows,然后用windows将模型复制到linux底下的目录下。

首先确保你的windows和CentOS已经安装了Ollama。

拉取模型文件到指定目录:

  1. windows下,安装ollama之后,修改环境变量

将系统和用户环境变量设置OLLAMA_MODELSE:OLLAMA(默认拉取到C盘,但是我的C盘太小了,我E盘比较大所以指定E盘目录)

拉取大模型文件(比如阿里的千问1.5 72B,体积大概40GB),关键词在这里找https://ollama.com/library),用powershell输入:

ollama pull qwen:72b

拉取完成后,到E:OLLAMA查看大模型文件:

将windows上的Ollama大语言模型迁移到Linux

将windows上的Ollama大语言模型迁移到Linux

将windows上的Ollama大语言模型迁移到Linux

将大语言模型迁移到CentOS:

  1. 你可以选择使用putty或者是scp之类的终端工具,将大模型文件迁移到CentOS的本地目录。

这里,我专门建立了一个目录,把文件放在这里。

将windows上的Ollama大语言模型迁移到Linux

注意linux系统里一般不容纳sha256-ada开头的文件,因为里边有横杠-,所以要把横杠改成冒号,改完之后文件路径如下:
/home/Ollama-Test/models/blobs/sha256:ada9f88e89df0ea53c31fabf8b1e7c8c0c22fa95ab3a3cad4cdd86103ce9f3d3

写一个modelfile文件

3.新建一个modelfile文件,放哪都行,我给放/home/Ollama-Test/底下了,我给它起名叫modelfile_Qwen72B.mf,编辑打开,然后把

FROM <sha:ada文件路径>

我给写成

FROM /home/Ollama-Test/models/blobs/sha256:1da0581fd4ce92dcf5a66b1da737cf215d8dcf25aa1b98b44443aaf7173155f5

FROM /home/Ollama-Test/models/blobs/sha256:7c7b8e244f6aa1ac8c32b74f56d42c41a0364dd2dabed8d9c6030a862e805b54

FROM /home/Ollama-Test/models/blobs/sha256:ada9f88e89df0ea53c31fabf8b1e7c8c0c22fa95ab3a3cad4cdd86103ce9f3d3

FROM /home/Ollama-Test/models/blobs/sha256:ec79e94c4260fbe84f60cd6cf9051fb6604fba350593030f3ff37e9d371574a9

FROM /home/Ollama-Test/models/blobs/sha256:f02dd72bb2423204352eabc5637b44d79d17f109fdb510a7c51455892aa2d216

放进去,保存,如图。

将windows上的Ollama大语言模型迁移到Linux

如果你的模型文件是pytorch或者safetensors格式的,请参考这里:https://github.com/ollama/ollama?tab=readme-ov-file#import-from-pytorch-or-safetensors

将Ollama主程序和模型文件关联起来

  1. 命令行输入如下格式语句,将Ollama主程序和模型文件关联起来。

ollama create <example_name> -f  <Modelfile>

例如,我给模型起个名叫qwen72B,我输入的就是

ollama create qwen72B -f /home/Ollama-Test/models/modelfile_Qwen72B.mf

此时系统提示我Ollama开始辨认模型了:

transferring model data 
creating model layer 
using already created layer sha256:ada9f88e89df0ea53c31fabf8b1e7c8c0c22fa95ab3a3cad4cdd86103ce9f3d3 
writing layer sha256:cccf8793e282fb64e5e35dfe89ba11e81d46a41be12b361e63dc94f5c05ca829 
writing manifest 
success 

至此模型导入成功了。

输入命令检查一下:

ollama list
NAME            ID              SIZE    MODIFIED       
qwen72B:latest  00cb994fe989    41 GB   14 seconds ago

愉快运行Ollama模型

然后通过命令就可以愉快运行Ollama模型了

ollama run qwen72B

© 版权声明

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...