136 words
1 minute
无root权限使用ollama
之前跑论文的代码时,老师给我分配了内网一个8卡4090的机器的账号,但是没有root权限,今天想着跑一下本地大模型试试
# 下载(下载慢的可以在自己电脑下载然后传过去)cd /tmpcurl -fL https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgzmkdir -p ~/.localmkdir -p /tmp/ollama-extracttar -xzf /tmp/ollama-linux-amd64.tgz -C /tmp/ollama-extractmkdir -p ~/.local/binmkdir -p ~/.local/libcp -a /tmp/ollama-extract/bin/* ~/.local/bin/cp -a /tmp/ollama-extract/lib/* ~/.local/lib/echo $PATH | grep "$HOME/.local/bin"echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.bashrcecho 'export LD_LIBRARY_PATH="$HOME/.local/lib:$LD_LIBRARY_PATH"' >> ~/.bashrcsource ~/.bashrcwhich ollamaollama --version使用第8张显卡在11434端口运行
CUDA_VISIBLE_DEVICES=7 OLLAMA_HOST=0.0.0.0:11434 ollama serve 无root权限使用ollama
https://blog.songhappy.cn/posts/ollama/