Home avatar

用AI工具提升效率、解放生产力

微调Mobius 12B base模型记录

img

image-20240402164024059

微调Mobius 12B base模型,会涉及以下步骤。

  1. 安装必要的库。如果你还没安装,首先需要安装Hugging Face的Transformers库,pip install transformers`来进行安装。
  2. 加载预训练的模型和分词器。如我之前提到的,你可以用以下代码加载模型和分词器:

ai大模型最新排行榜

ai大模型最新排行榜

image-20240401162721324

排名模型名称机构总分OPENOPT使用发布日期
-GPT4-Turbo-0125OpenAI92.7194.9583.74API2024年2月27日
-GPT4(网页)OpenAI90.3691.4885.89网页2024年2月27日
🏅文心一言4.0百度87.7588.2385.82API2024年2月27日
🥈GLM-4清华&智谱AI86.7787.4983.89API2024年2月27日
🥉通义千问2.1阿里巴巴85.786.184.09API2024年2月27日
4Baichuan3百川智能82.5982.4583.13API2024年2月27日
5Moonshot(KimiChat)月之暗面82.3782.2982.66网页2024年2月27日
6讯飞星火V3.5科大讯飞81.0180.682.64API2024年2月27日
7qwen1.5-72b-chat阿里巴巴79.3678.3983.22API2024年2月27日
8MiniMax_Abab6稀宇科技78.0177.9478.29API2024年2月27日
9云雀大模型字节跳动76.5875.4781.04API2024年2月27日
10从容大模型V1.5云从科技75.5675.6975.03API2024年2月27日
10360gpt-pro36075.5474.181.3API2024年2月27日
12XVERSE-65B-Chat元象科技74.6474.1576.57API2024年2月27日
-Claude2Anthropic72.5172.970.92API2024年2月27日
13qwen1.5-14b-chat阿里巴巴70.3267.979.99API2024年2月27日
-GPT3.5-Turbo-0125OpenAI64.3463.2668.68API2024年2月27日
14Yi-34B-Chat零一万物63.559.9977.52模型2024年2月27日
-Gemini-ProGoogle62.5758.9677.01API2024年2月27日
15qwen1.5-7b-chat阿里巴巴60.8857.773.56API2024年2月27日
16qwen-14b-chat阿里巴巴59.7354.9878.72API2024年2月27日
17Baichuan2-13B-Chat百川智能57.2853.9970.44模型2024年2月27日
18XVERSE-13B-L元象科技51.0745.3474.02API2024年2月27日
19MiniCPM-2B面壁智能40.6634.8663.86API2024年2月27日
20ChatGLM3-6B清华&智谱AI40.3234.3364.3模型2024年2月27日

lmsys支持多种模型:

Faster_Whisper部署教快速入门教程

image-20240306082507161

Faster_Whisper是基于OpenAI的Whisper模型的高效实现。主要包括以下特点:

  1. 更高效:其利用CTranslate2,一个专为Transformer模型设计的快速推理引擎。这种实现既提高了语音识别的速度,同时还优化了内存使用效率。
  2. 稳定性:Faster-Whisper的核心优势在于其能够在保持原有模型准确度的同时,大幅提升处理速度。
  3. 可用性:减少模型的层数、参数量和模型结构,这样就减少了计算量和内存消耗,并改进了推理算法和计算过程,减少了冗余计算,进一步提高了模型的运行速度。

适用场景主要包括:语音识别、语音转写、大规模语音数据处理等。在处理大规模的语音数据时,因为其高效的计算能力和优秀的内存优化,使得Faster_Whisper得到了广泛应用