编辑器内的完全开源 AI 代码助手

2024 年 5 月 31 日

这是一篇来自 Continue 联合创始人 Ty Dunn 的客座文章，介绍了如何设置、探索以及找出一起使用 Continue 和 Ollama 的最佳方法。

Continue and Ollama

Continue 使您能够使用开源 LLM 直接在 Visual Studio Code 和 JetBrains 中轻松创建自己的代码助手。所有这些都可以在您自己的笔记本电脑上完全运行，或者将 Ollama 部署在服务器上，以根据您的需求远程驱动代码完成和聊天体验。

要进行设置，您需要安装

下载完成后，我们建议您探索以下内容：

试用 Mistral AI 的 Codestral 22B 模型进行自动补全和聊天

目前，Codestral 是我们目前最喜欢的能够同时进行自动补全和聊天的模型。该模型展示了 LLM 在编程任务方面的改进。然而，由于具有 22B 参数和一个 非生产许可证，它需要相当多的 VRAM，并且只能用于研究和测试目的，因此它可能不是日常本地使用的最佳选择。

a. 在您的终端中运行以下命令以下载并运行 Codestral

ollama run codestral

b. 点击 Continue 右下角的齿轮图标以打开您的 config.json 并添加

{
  "models": [
    {
      "title": "Codestral",
      "provider": "ollama",
      "model": "codestral"
    }
  ],
  "tabAutocompleteModel": {
    "title": "Codestral",
    "provider": "ollama",
    "model": "codestral"
  }
}

VS Code settings to change config.json

使用 DeepSeek Coder 6.7B 进行自动补全，使用 Llama 3 8B 进行聊天

根据您的机器上拥有的 VRAM 数量，您可能可以利用 Ollama 运行多个模型并处理多个并发请求的能力，使用 DeepSeek Coder 6.7B 进行自动补全，使用 Llama 3 8B 进行聊天。如果您的机器无法同时处理两者，那么请尝试每个模型，然后决定您是更喜欢本地自动补全还是本地聊天体验。然后，您可以为另一种体验使用远程托管或 SaaS 模型。

a. 在您的终端中运行以下命令以下载并运行 DeepSeek Coder 6.7B

ollama run deepseek-coder:6.7b-base

b. 在另一个终端窗口中运行以下命令以下载并运行 Llama 3 8B

ollama run llama3:8b

c. 点击 Continue 右下角的齿轮图标以打开您的 config.json 并添加

{
  "models": [
    {
      "title": "Llama 3 8B",
      "provider": "ollama",
      "model": "llama3:8b"
    }
  ],
  "tabAutocompleteModel": {
    "title": "DeepSeek Coder 6.7B",
    "provider": "ollama",
    "model": "deepseek-coder:6.7b-base"
  }
}

使用带有 Ollama 的 nomic-embed-text 嵌入来支持 @codebase

Continue 带有一个内置的 @codebase 上下文提供程序，可让您自动从代码库中检索最相关的代码段。假设您已经设置了一个聊天模型（例如 Codestral、Llama 3），那么借助 Ollama 和 LanceDB 的嵌入，您可以保持整个体验的本地化。目前，我们建议使用 nomic-embed-text 嵌入。

a. 在您的终端中运行以下命令以下载 nomic-embed-text

ollama pull nomic-embed-text

b. 点击 Continue 右下角的齿轮图标以打开您的 config.json 并添加

{
  "embeddingsProvider": {
    "provider": "ollama",
    "model": "nomic-embed-text"
  }
}

c. 根据您的代码库的大小，索引可能需要一些时间，然后您就可以向它提问，重要的代码库部分会自动找到并用于答案中（例如“@codebase Llama 3 的默认上下文长度是多少？”）

在您的开发数据上微调 StarCoder 2 并将其推送到 Ollama 模型库

当您使用 Continue 时，您会自动生成有关如何构建软件的数据。默认情况下，此开发数据保存在您本地机器上的 .continue/dev_data 中。当与您最终提交的代码结合使用时，它可以用于改进您或您的团队使用的 LLM（如果您允许）。例如，您可以使用您团队接受的自动补全建议来微调像 StarCoder 2 这样的模型，以便为您提供更好的建议。

a. 将“接受的制表符建议”提取并加载到 Hugging Face Datasets 中

b. 使用 Hugging Face Supervised Fine-tuning Trainer 来微调 StarCoder 2

c. 将模型推送到 Ollama 模型库，供您的团队使用并衡量您的接受率变化

通过使用 @docs 提问并在 Continue 的帮助下，了解有关 Ollama 的更多信息

Continue 还带有一个内置的 @docs 上下文提供程序，可让您索引和检索任何文档站点中的代码段。假设您已经设置了一个聊天模型（例如 Codestral、Llama 3），您可以通过提供指向 GitHub 上的 Ollama README 的链接并提问以了解更多信息，从而保持整个体验的本地化。

a. 在聊天侧边栏中键入 @docs，选择“添加文档”，将“https://github.com/ollama/ollama” 复制并粘贴到 URL 字段中，然后在标题字段中键入“Ollama”

b. 它应该会快速索引 Ollama README，然后您可以向它提问，重要的部分会自动找到并用于答案中（例如“@Ollama 我该如何运行 Llama 3？”）

加入我们的 Discord！

现在您已经尝试了这些不同的探索，您应该希望对您使用 Continue 和 Ollama 的最佳方式有更好的了解。如果您在此过程中遇到问题或有疑问，请加入 Continue Discord 或 Ollama Discord 以获得一些帮助和答案。