我是直接安装在服务器上, 没用docker.

1 安装ollama 

有网机器上下载ollama: wget https://ollama.com/download/ollama-linux-amd64 
弄到离线服务器上:/usr/bin/ollama  ollama就是你下载的ollama-linux-amd64 改名了
赋权限: sudo chmod +x /usr/bin/ollama
创建用户: sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama 
创建服务文件: /etc/systemd/system/ollama.service, 内容如下

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3

[Install]
WantedBy=default.target

这里要注意Environment这个参数官网没有, 这个是配置其他机器访问的.

重新加载: sudo systemctl daemon-reload\

开机启动: sudo systemctl enable ollama

启动: systemctl start ollama

到这里是参考官方文档: https://github.com/ollama/ollama/blob/main/docs/linux.md .

2 安装大模型

还是在有网的机器(这个机器已经安装ollama), 拉取大模型: ollama pull llama3:8b 

大模型存储在: /usr/share/ollama/.ollama

把整个.ollama弄到离线服务器同一个目录下. 

查看是否识别到大模型: ollama list,  如果成功, 则会看到大模型

到此centos 直接部署ollama以及大模型全部介绍完毕