00230 Ollama 学习笔记

前言

与大型语言模型一起启动并运行。

Operating System: Ubuntu 22.04.4 LTS

参考文档

1. Ollama
2. ollama - github

安装

macOS

1. https://ollama.com/download/Ollama-darwin.zip

Windows

1. https://ollama.com/download/OllamaSetup.exe

Linux

curl -fsSL https://ollama.com/install.sh | sh

快速入门

要运行并与 Llama 3.2 交谈：

ollama run llama3.2

模型库

Ollama 支持在 ollama.com/library 上可用的模型列表。

以下是一些可以下载的示例模型：

Model	Parameters	Size	Download
Llama 3.2	3B	2.0GB	ollama run llama3.2
Llama 3.2	1B	1.3GB	ollama run llama3.2:1b
Llama 3.2 Vision	11B	7.9GB	ollama run llama3.2-vision
Llama 3.2 Vision	90B	55GB	ollama run llama3.2-vision:90b
Llama 3.1	8B	4.7GB	ollama run llama3.1
Llama 3.1	70B	40GB	ollama run llama3.1:70b
Llama 3.1	405B	231GB	ollama run llama3.1:405b
Phi 3 Mini	3.8B	2.3GB	ollama run phi3
Phi 3 Medium	14B	7.9GB	ollama run phi3:medium
Gemma 2	2B	1.6GB	ollama run gemma2:2b
Gemma 2	9B	5.5GB	ollama run gemma2
Gemma 2	27B	16GB	ollama run gemma2:27b
Mistral	7B	4.1GB	ollama run mistral
Moondream 2	1.4B	829MB	ollama run moondream
Neural Chat	7B	4.1GB	ollama run neural-chat
Starling	7B	4.1GB	ollama run starling-lm
Code Llama	7B	3.8GB	ollama run codellama
Llama 2 Uncensored	7B	3.8GB	ollama run llama2-uncensored
LLaVA	7B	4.5GB	ollama run llava
Solar	10.7B	6.1GB	ollama run solar

你应该至少有 8 GB 的 RAM 来运行 7B 模型，16 GB 来运行 13B 模型，以及 32 GB 来运行 33B 模型。

定制一个模型

定制一个提示

Ollama 库中的模型可以通过提示进行定制。例如，要定制 llama3.2 模型：

ollama pull llama3.2

创建一个模型文件：

FROM llama3.2

# set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1

# set the system message
SYSTEM """
You are Mario from Super Mario Bros. Answer as Mario, the assistant, only.
"""

接下来，创建并运行模型：

ollama create mario -f ./Modelfile
ollama run mario
>>> hi
Hello! It's your friend Mario.

更多示例，请参阅 examples 目录。有关使用 Modelfile 的更多信息，请参阅 Modelfile 文档。

CLI 参考

创建一个模型

ollama create 用于从 Modelfile 创建一个模型。

ollama create mymodel -f ./Modelfile

拉取一个模型

ollama pull llama3.2

此命令还可以用于更新本地模型。只会拉取差异部分。

删除一个模型

ollama rm llama3.2

复制一个模型

ollama cp llama3.2 my-model

多行输入

对于多行输入，你可以用 “”” 将文本包裹起来：

>>> """Hello,
... world!
... """
I'm a basic program that prints the famous "Hello, world!" message to the console.

多模态模型

ollama run llava "What's in this image? /Users/jmorgan/Desktop/smile.png"
The image features a yellow smiley face, which is likely the central focus of the picture.

将提示作为参数传递

$ ollama run llama3.2 "Summarize this file: $(cat README.md)"
 Ollama is a lightweight, extensible framework for building and running language models on the local machine. It provides a simple API for creating, running, and managing models, as well as a library of pre-built models that can be easily used in a variety of applications.

显示模型信息

ollama show llama3.2

列出你电脑上的模型

ollama list

列出当前加载了哪些模型

ollama ps

停止当前正在运行的模型

ollama stop llama3.2

启动 Ollama

当你想在不运行桌面应用程序的情况下启动 ollama 时，使用 ollama serve。

构建

运行本地构建

接下来，启动服务器：

./ollama serve

最后，在另一个 shell 中，运行一个模型：

./ollama run llama3.2

REST API

Ollama 有一个用于运行和管理模型的 REST API。

生成一个响应

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt":"Why is the sky blue?"
}'

与一个模型交谈

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [
    { "role": "user", "content": "why is the sky blue?" }
  ]
}'

有关所有端点的详细信息，请参阅 API 文档。

结语

第二百三十篇博文写完，开心！！！！

今天，也是充满希望的一天。