FreeAskInternet介绍

  • FreeAskInternet 是一个完全免费、私有且本地运行的搜索聚合器，使用 LLM 生成答案，无需 GPU。用户可以提出一个问题，系统将使用 searxng 进行多引擎搜索，并将搜索结果组合到 ChatGPT3.5 LLM 中，并根据搜索结果生成答案。所有进程都在本地运行，不需要 GPU 或 OpenAI 或 Google API 密钥。

  • 如果您无法正常使用此项目，很可能是由于您的互联网连接或 IP 问题，您需要免费互联网连接才能正常使用此项目。 如果您无法正常使用此项目，很可能是由于您的 IP 存在问题，或者你不能自由访问互联网。
    （需要梯子）

特征

  • 無️ 完全免费（无需任何 API 密钥）

  • 💻 完全本地（无需GPU，任何计算机都可以运行）

  • 🔐 完全私有（所有东西都在本地运行，使用自定义 llm）

  • 👻 无需 LLM 硬件即可运行（无需 GPU！

  • 🤩 使用免费的 ChatGPT3.5 / Qwen / Kimi / ZhipuAI（GLM） API（无需 API 密钥！谢谢 OpenAI）

  • 🐵 自定义 LLM（ollama，llama.cpp） 支持，是的，我们爱 ollama！

  • 🚀 使用 Docker Compose 快速轻松地部署

  • 🌐 Web 和移动友好的界面，专为 Web 搜索而设计，增强了 AI 聊天，允许从任何设备轻松访问。

截图

  1. 指数

  2. 基于搜索的AI聊天

  3. 多 LLM 模型和自定义 LLM （如 ollama 支持）：

它是如何工作的？

  • 系统在FreeAskInternet UI界面（本地运行）中获取用户输入的问题，并调用searxng（本地运行）在多搜索引擎上进行搜索。

  • 抓取搜索结果链接内容并传递给 ChatGPT3.5 / Kimi / Qwen / ZhipuAI / ollama （通过使用自定义 llm），要求 LLM 根据此内容作为参考回答用户问题。

  • 将答案流式传输到聊天界面。

  • 我们支持自定义 LLM 设置，因此理论上无限支持 llm。

安装教程

  1. 演示将以Windows作为运行环境（方便挂梯子）

  2. 安装好Docker、docker-compose、git环境

  3. git官方下载地址：https://git-scm.com/download/win
    （一路默认安装即可，群晖上直接安装Git Server套件。）

  4. 安装好git之后打开Git Bash
    （群晖上直接打开终端连接，进入随意一个路径，如/volume1/docker即可。）

  5. 复制下面的命令粘贴到窗口内

    git clone https://github.com/nashsu/FreeAskInternet.git

  6. git拉取的项目文件默认保存在C盘用户的根目录

  7. 进入项目文件夹，空白处右键选择在终端内打开。
    （群晖上使用cd ./FreeAskInternet）

  8. 执行命令，启动docker-compose文件，拉取镜像并创建容器。

    docker-compose up -d

  9. 查看正在运行的项目容器

访问FreeAskInternet

  1. 打开浏览器，以设备的IP+设置的端口进行访问。
    以本机为例：http://172.16.19.181:3000

  2. 由于是在Windows系统上部署的，未在Linux系统上部署。
    使用http://127.0.0.1:3000本地地址进行访问是有管理选项的，用于设置对应的API。
    点击设置

  3. 将所需要的Token填写进去，然后点击保存。
    （各种Token太多了，无法写全，自行搜索获取教程。）
    （最下面的Ollama本站有安装教程，使用的是ollama pull nomic-embed-text 模型命令，可参照下面的填写，每个模型的参数不一样，可自行查找。）
    （如何获取和设置Kimi / Qwen / ZhipuAI Token？可在Github项目地址内查看，地址见文末。）

  4. 选择一个模型后输入问题点击提问

  5. 可以看到聚合搜索结果

  6. 其他的就没什么了，自己看着使用即可。

项目地址

功德+1（狗子）.gif

👇👇👇