[论文解读] rollama: An R package for using generative large language models through Ollama

Johannes B. Gruber, Maximilian Weber|arXiv (Cornell University)|Apr 11, 2024

Computational and Text Analysis Methods被引用 8

一句话总结

rollama 是一个 R 包，封装 Ollama API，在本地运行开源生成式大语言模型，实现标注、嵌入等 LLM 任务，具有可重复性和隐私保护。

ABSTRACT

rollama is an R package that wraps the Ollama API, which allows you to run different Generative Large Language Models (GLLM) locally. The package and learning material focus on making it easy to use Ollama for annotating textual or imagine data with open-source models as well as use these models for document embedding. But users can use or extend rollama to do essentially anything else that is possible through OpenAI's API, yet more private, reproducible and for free.

研究动机与目标

• 促进在 R 中公开、私密且可重复使用的生成式大语言模型 (GLLMs) 的使用。
• 提供一个简单的封装，便于从 R 访问本地模型的 Ollama API。
• 利用开源模型在无需专有 API 的情况下实现常见的 NLP 任务（注释/标注、嵌入）。
• 提供指南和学习材料，帮助使用和扩展 rollama。
• 通过种子控制的提示和零/一/少-shot 提示，突出可重复性工作流。

提出的方法

• 封装 Ollama API，使在 R 中运行本地托管的 GLLMs。
• 两个核心函数：query() 用于单轮提示，chat() 用于会话历史。
• 通过 pull_model() 下载自 Ollama 库的模型进行模型管理。
• 以种子提示、温度设定为 0 以实现可重复输出。
• 支持多模态模型（如支持图像的 llava）和文本嵌入。
• 提供学习材料和教程，便于使用和扩展。

实验结果

研究问题

• RQ1 rollama 如何使研究人员能够通过 Ollama 在 R 内部使用开源 LLM？
• RQ2 rollama 提供哪些可实现可重复输出的机制（如种子和温度设置）？
• RQ3 研究人员如何将 rollama 应用于文本注释任务以及生成/嵌入？
• RQ4 通过 rollama 使用 Ollama 模型进行多模态和嵌入工作流的能力与局限性？

主要发现

• rollama 提供了一个将开源 LLM 从 R 通过 Ollama 本地运行的便捷桥梁。
• 它同时支持单轮查询和带历史记录保留的对话聊天。
• 带种子提示、温度为 0 的设置可实现可重复输出。
• 它通过零/少-shot 以及推理过程链的提示策略支持文本注释。
• 它支持多模态模型（如 llava）以及使用如 nomic-embed-text 和 all-minilm 的嵌入生成。
• 随包附带学习材料和教程以简化采用。