Home avatar

用AI工具提升效率、解放生产力

一键部署llama3教程

image-20240421075304653

部署llama3时,以下是一些需要注意的要点:

  1. 系统要求:确保你的系统满足llama3运行所需的最低要求。例如,如果llama3是7B大小的模型,则至少需要有8GB的RAM。
  2. 磁盘空间:llama3模型根据参数的不同大小也不同,需要确保有足够的磁盘空间来存放下载的模型文件。
  3. 操作系统支持:llama3应当支持你正在使用的操作系统。如果使用Linux, macOS, Windows,需确保能成功运行对应系统中的指令。
  4. 依赖安装:某些系统可能需要先行安装某些依赖项,例如在macOS上可能需要安装cmake和go。对于依赖项,遵从官方安装指南。
  5. 网络连接:部署过程中需要下载模型文件,因此确保有稳定的网络连接。
  6. API权限:如果llama3需要访问外部服务的API,确保这些API的权限已经配置妥当。
  7. 环境变量:如果llama3的运行需要配置特定的环境变量,请根据文档指导进行设置。
  8. 安全设置:确保在运行服务时遵循最佳安全实践,特别是在生产环境中。

macOS

magic-animate、cutie、AnimateAnyone试用

image-20240417110950814

MagicAnimate: 字节跳动推出AI视频新模型,Magic Animation 卷起来,支持动作捕捉,图片转视频,开源免费,含本地运行

Animate Anyone: 是一个由阿里巴巴智能计算研究院开发的软件,它可以从静态图像生成动态视频,可将任意图像角色动画化。Animate Anyone有以下几个特点。一致性:它可以保持图像中角色的外观和特征的一致性,不会出现失真或闪烁的问题。可控性:它可以让用户提供任何类型的动作或姿势序列,来控制角色的动画效果。通用性:它可以适用于人类角色、动漫角色、卡通角色等,具有广泛的应用范围。

GPT-SoVITS声音模型训练

GPT模型列表 GPT_weights/mangev2-e15.ckpt SoVITS模型列表 SoVITS_weights/mangev2_e8_s72.pth

GPT-SoVITS 使用步骤:

音频人声分离–>分割音频–>生成slicer_opt.list –> 打标–》人工核对 –》Dataset formatting –> SoVITS training【SoVITS_weights and GPT_weights】 –> inference

QAnything与LangChain-Chatchat、ChatQA哪个好

image-20240402164443953

  1. QAnything是网易有道推出的基于子曰教育大模型自研的RAG(检索增强生成)引擎,它是一个免费开源的本地知识库问答解决方案。这种引擎支持各种文件格式和数据库,允许离线安装和使用。用户可以简单地拖拽任何格式的本地存储文件或文档,并向其提问获取精准、高效和可靠的答案。这种工具对本地知识库的需求特别便利。

RWKV-5-12B-one-state-chat-16k.pth使用

image-20240417132749947

RWKV(Recurrent Weighted Key Value)是一种基于Transformer的新型模型,它结合了Transformer和RNN(Recurrent Neural Network)的优点,提高了Transformer在长序列上的性能。RWKV的关键在于它的key-value memory机制,它可以将序列中的信息存储在key-value memory中,从而减少了序列长度对模型性能的影响。

Samba CoE v0.2升级Samba CoE v0.3试用

Samba CoE特点在于高精度地处理特定领域任务、多种语言和不同模态,以实现先进的性能。优点包括:

  1. 巨大规模参数数量:作为一百万亿参数架构,它能够在各领域表现出突出的准确率。
  2. 广泛适用性:可应用于多样化的任务、语言和模态,提供灵活性。
  3. Samba CoE v0.2:专门为评估目的设计的子集,狭窄焦点于通用对话处理。
  4. 资源高效:在单个SN40L节点上运行,同时支持数百个模型,表现出出色的性能和高效率。

v0.3 版本: