AI模型/机器学习项目

以下部分模型测试结果并非本人实测

离线使用的项目或模型¶

GPT4All

项目链接:官网

简要说明:能在本地离线运行的AI聊天机器人

测试状态:已测试(只测试两个模型:gpt4all-falcon-q4_0.gguf和all-MiniLM-L6-v2-f16.gguf)

Text Only

!!! note
    这个项目对低配显卡的电脑比较友好一些，如果显存不大的话，可以使用cpu+大内存来运行，虽然速度稍慢，但是可以勉强运行，只要内存足够的话，建议使用对RAM要求高的模型，相对好用一些 。第一个项目效果一般，只能英文提问，回答的也是英文，而且质量一般，个人感觉比较适合对某一些概念性的问题不太了解的场景，涉及到专业问题还是考虑使用在线的AI模型；第二个项目无法运行，无法输出结果，原因不明

    可以配合Quivr搭建一个本地知识库问答系统

!!! note "GPT4All提供的模型测试结果"

    |             模型              | 测试结果                                                     |
    | :---------------------------: | ------------------------------------------------------------ |
    |   gpt4all-falcon-q4_0.gguf    | 只能输入英文提示词，准确率较低                               |
    |  wizardlm-13b-v1.2.Q4_0.gguf  | 可以输入中文提示词，但模型有时不知为什么还会输出英文，需要单独提示中文输出，准确率一般 |
    |   all-MiniLM-L6-v2-f16.gguf   | 无法输出结果，原因不明                                       |
    |   all-MiniLM-L6-v2-f16.gguf   | 这个有问题，用不了                                           |
    | mistral-7b-openocra.Q4_0,gguf | 会说中文，需要有8G显存才能使用GPU                            |
    |  orca-mini-3b-gguf-q4_0.gguf  | 不会说中文，测试支持GPU，会占2G显存+2G内存                   |
    | replit-code-v1_5-3b-q4_0.gguf | 会说中文，测试不支持GPU，会占2G显存+2G内存                   |
    |      starcoder-q4_0.gguf      | 只会输出代码，不会聊天，会占用8G内存，需要有8G显存才能使用GPU |

CodeShell

项目链接:github项目

简要说明:能编写代码、代码提示的模型，也能简单聊天

测试状态:待测试

Note

个人感觉比较适合开发人员更快速的编写代码，提出开发问题，本地运行模型后可以配合插件，在jetbrains全家桶或VScode上辅助开发，有纯cpu运行的模型，但未针对性测试

后来测试了CodeShell Chat 4bit，电脑直接卡死，爆内存，估计这个模型得上A100显卡才行

测试cpp_code_shell项目，这个可以跑起来，但只能用CPU运行，对内存要求不高，测试只需要1G多内存，速度比16GB内存的GPT4All模型要快一点，准确度目测不如GPT4All，不过由于可以配合IDE插件，在进行编程开发的时候可以做一些辅助作用，比如优化代码质量、寻找潜在bug、生成测试用例、编写接口文档等，做一些比较繁琐的小活还行
Whisper:

项目链接:github项目

简要说明:支持将纯音频、视频中的音频转换成文字，还支持实时语音识别

测试状态:已测试

Note

这个模型有几种版本，在显存够用(推荐6G独显显存，4G也能勉强带的动)的情况下，使用中大模型效果比较好，虽然也能支持cpu运行，但是没有针对性测试
So-VITS-SVC

项目链接:第三方资源

简要说明:借助AI可以将自己的声音克隆成其他声音

测试状态:待测试

Note

对显存要求高，目前测试4G显存跑不动，会爆显存
Stable Diffusion

项目链接:暂无(可以到内网搜索A启动器，应该能找到)

简要说明:本地AI绘画

测试状态:已测试

Note

因为本人使用的是第三方修改过的，也就是A启动器，所以显存小一点也能勉强跑，只是速度太慢，效果一般，也可能是本人对提示词了解的不够深入导致的
Meta LlaMA 2

项目链接:第三方资源

简要说明:AI聊天机器人

测试状态:未测试

Note

看第三方评测时，看到有人提到说这个模型对显存要求特别高，而且模型也非常大，如果电脑配置非常高，可以考虑
captcha_break

项目链接:github项目

简要说明:识别带有文字验证码的文本的项目

测试状态:待测试

Note

GitHub项目只提供了训练代码，没有调用代码，暂时不清楚如何使用
零一万物

项目链接:官网

简要说明:本地AI聊天模型

测试状态:未测试

Note

听说这个模型对中文优化的比较好，但是看到这个参数，估计和使用CodeShell的情况差不多
argos-translate

项目链接:github项目

简要说明:对配置要求不高、启动速度快、支持长文本翻译的翻译模型

测试状态:已测试

Note

需要单独下载模型，且使用该模型需要有一点python基础，所以使用之前需要好好研究该GitHub项目的readme.md文件
ChatGLM2-6B

项目链接:Github

官网介绍:ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答

测试结果:需要显卡部署，建议至少8G显存
FastGPT

项目链接:Github项目

简要说明:本地知识库问答系统

测试状态:未测试

Note

如果本地运行需要单独安装docker，暂时还不清楚如何离线状态下部署搭建
IntelliCode

项目链接:VisualStudio官网

简要说明:可以在VS上对C#、C++代码做代码补全

测试状态:已测试

Note

测试只需要安装最新的VS2022就有这个功能，community版也支持，之前写过两句C++代码，没有看到代码补全，不清楚为什么

VScode也有这个插件，但是据说效果不大，只会优化提升结果，稍后进一步测试看看
phi-2

项目链接:huggingface项目

简要说明:比较小的AI模型，可以聊天

测试状态:未测试

Note

暂时不清楚怎么调用
seamless

项目链接:huggingface项目

简要说明:支持多国语言的文本、语音翻译，可以输出翻译后的文字和语音，有三个模型

测试状态:未测试

Note

暂时不清楚怎么调用
CapsWriter

项目链接: GitHub项目

简要说明: 支持音频转换文字、实时语音转换的AI模型

测试状态: 已测试

Note

这个模型对低配电脑比较友好，不需要显卡，只需要确保Windows 10+2G闲置内存即可运行

准确度与Whisper差不多，转换速度一般(具体转换速度需根据不同硬件决定)，但允许用户自定义专业名词，可以进一步提高准确度

在线使用的模型¶

ChatGPT

使用的人很多，这里就不额外介绍了
BingChat

使用的人很多，这里就不额外介绍了
Gemini

项目链接:官网

简要说明:AI聊天机器人

测试状态:已测试

Note

需要Google账号，目前测试对IP要求较高，建议选择美国节点；支持API key，可以接入到Telegram使用，目前测试准确度不如GPT-4模型
Claude

项目链接:官网

简要说明:AI聊天机器人

测试状态:未测试

Note

需要手机号码，不太好过
AWS Code Whisperer

项目链接:暂无，需要配合插件使用

简要说明:可以在VScode、jetbrains全家桶中调用此AI辅助开发

测试状态:已测试

Note

目前测试只能使用英文提问，效果一般，感觉和ChatGPT 3.5差不太多，代码提示和补全功能暂时没有测试，最好走国外IP使用