在服务器Ubuntu22.04系统下的
Qwen2-Audio的部署
欢迎使用我们公司服务器来部署和使用Qwen2-Audio大模型。通过本指南，您将学会如何在Ubuntu 22.04系统下安装和配置Qwen2-Audio大模型，并使用webui进行交互。如果您对我们的服务器感兴趣，可以在官网处获取服务器资源，我们还提供详细的部署帮助文档，帮助您轻松上手。
Qwen2-Audio 介绍

       Qwen2-Audio 模型在技术上采用了多模态输入处理、预训练与微调、注意力机制、条件文本生成、编码器-解码器架构以及 Transformer 架构等先进技术。它在训练过程中使用优化算法（如 Adam）来调整模型参数，提高预测准确性。此外，Qwen2-Audio 已经在 Hugging Face 的 transformers 库中得到官方支持，开发者可以通过源码安装 transformers 来使用 Qwen2-Audio 模型。模型还计划在未来进行进一步的训练和扩展，以支持更长的音频输入和构建更大规模的模型。

      项目地址：https://github.com/QwenLM/Qwen2-Audio

部署框架

在这个框架中，每个组件都有其特定的角色和功能，它们通过Web UI这个桥梁相互连接，共同为用户提供服务。用户通过浏览器与Web服务器交互，而Web服务器则负责与后端的Qwen2-Audio模型进行通信，以完成图片生成的任务。
•  用户（User）：
用户是最终与系统交互的人，他们使用Web UI来生成图片。
• 浏览器（Browser）：
用户通过浏览器访问Web服务器。浏览器充当客户端，发送HTTP请求并接收响应。
• Web服务器（Web Server）：
运行Ubuntu服务器上的软件，通常是Web框架的一部分，比如Flask或Django。它处理来自浏览器的HTTP请求，提供Web UI，并与后端服务交互。
• Qwen2-Audio模型（Qwen2-Audio Model）：
Qwen2-Audio是一款开源 AI 语音模型，它支持直接语音输入和多语言文本输出。
• Web UI（Web User Interface）：
用户通过Web UI与系统交互。Web UI是Web服务器提供的前端界面，允许用户上传图片、设置生成参数等。


Qwen2-Audio模型的优点和缺点
Qwen2-Audio 模型具有以下一些优点和缺点：
• 优点：
语音聊天：用户可以直接用语音与模型交流，无需通过自动语音识别（ASR）模块，实现更自然的交互体验。
音频分析：Qwen2-Audio能够根据文本指令分析音频内容，包括语音、声音和音乐等。
多语言支持：支持中文、英语、粤语、法语、意大利语、西班牙语、德语和日语等超过8种语言和方言。
高性能：在多个基准数据集上超越了先前模型，表现出色。

• 缺点：
处理能力限制：Qwen2-Audio目前更适合处理30秒以内的音频。对于更长的音频处理，可能需要进一步的优化或使用其他模型 。
技术依赖性：作为一个基于深度学习的模型，Qwen2-Audio的性能可能依赖于硬件配置和计算资源，这可能限制了它在资源受限的环境中的应用。
误识别风险：尽管Qwen2-Audio在多个基准数据集上表现优异，但在实际应用中，特别是在复杂或嘈杂的环境中，仍有可能出现识别错误。
部署流程解释介绍
1. 购买 GPU 服务器
• 在官网购买并配置服务器：

• 操作系统选择：
     选择一个适合您需求的操作系统，通常推荐使用 Ubuntu 22.04 LTS，因为它提供了长期支持和稳定性。
• 购买和部署：
    完成购买流程，启动服务器，并进行初步配置。
    FinalShell是一款服务器管理工具，支持SSH和远程桌面，使用FinalShell远程连接配置服务器。

二、Ubuntu 22.04基本环境配置
• 更换Ubuntu镜像源：
     通常为了加速下载，可以更换到国内镜像源，如清华镜像源。
• 更新包列表:
     使用sudo apt update命令来更新软件包列表。
• 使用wget下载驱动包:
     通过wget命令下载NVIDIA显卡驱动安装包。
• 更新软件列表和安装必要软件、依赖:
     使用sudo apt update和sudo apt install命令安装所需的软件和依赖。
• 卸载原有驱动:
     如果有旧版驱动，需要先卸载。
• 安装驱动:
     执行下载的驱动包进行安装。
• 安装CUDA:
     CUDA是用于通用并行计算的编程模型和API，需要根据显卡型号选择合适的版本安装。
• 环境变量配置:
     配置环境变量以确保系统能够正确使用CUDA和显卡驱动。

三、安装miniconda环境
• 下载miniconda3:
     从官网下载miniconda3的安装脚本。
• 安装miniconda3:
     执行下载的脚本进行安装。
• conda配置:
     配置conda的通道、环境等。

四、安装Qwen2-Audio
• 克隆仓库:
     使用git clone命令从GitHub克隆Qwen2-Audio仓库。
• 创建虚拟环境:
     使用conda或python的venv模块创建虚拟环境。
• 安装依赖:
     安装所需的Python库和工具以及Qwen2-Audio运行所需的其他Python依赖库。
• 设置清华源、更新pip:
      更换pip的源到清华，以加速下载。
• 创建模型放置文件夹:
     在适当的位置创建文件夹以存放AI模型文件。
• 下载模型:
     下载Qwen2-Audio需要使用的模型文件。
• 改端口启动:
     修改配置文件或启动命令，以指定Qwen2-Audio服务运行的端口号。

部署流程概述
    更换源和更新：优化软件包管理器使用的源，确保软件包列表是最新的。
   安装显卡驱动和CUDA：确保GPU能够被系统识别并用于高性能计算。
   配置环境变量：让系统知道如何找到并使用新安装的软件。
   安装miniconda：创建一个独立的Python环境，避免不同项目间的依赖冲突。
   安装Qwen2-Audio：获取Qwen2-Audio代码，创建适合其运行的环境，准备好所需的模型文件，最终启动Qwen2-Audio服务。

部署具体流程
一、FinalShell的下载及使用：
   FinalShell是一款服务器管理工具，支持SSH和远程桌面，提供多标签管理、命令自动提示、SFTP、性能监控等功能，适用于开发运维，界面友好，在很大程度上可以免费替代XShell。
   FinalShell的下载：https://www.hostbuf.com/t/988.html

   FinalShell的基本使用：
   连接Linux服务器
   进行如下设置：
    名称：  自定义
    主机：  填写你的服务器的公网IP
    端口：  填写服务器端口
    备注：  自定义
    方法：  密码
    用户名：默认是root
    密码：  填写服务器的登录密码
新建完后双击或者右键点击连接
二、ubuntu22.04基本环境配置
1.更换清华Ubuntu镜像源
•删除原来的文件
rm /etc/apt/sources.list

•开始编辑新文件
vim /etc/apt/sources.list
先按i键，粘贴以下内容 
# 默认注释了源码镜像以提高 apt update 速度，如有需要可自行取消注释
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-updates main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-backports main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-backports main restricted universe multiverse
# 以下安全更新软件源包含了官方源与镜像站配置，如有需要可自行修改注释切换
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-security main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-security main restricted universe multiverse

确保内容跟上述图片一致
按esc键，再输入冒号+wq保存
2. 更新包列表
•打开终端，输入以下命令
sudo apt-get update

sudo apt upgrade
更新时间较长，请耐心等待
3. 安装英伟达显卡驱动
3.1使用wget在命令行下载驱动包
wget https://cn.download.nvidia.com/XFree86/Linux-x86_64/550.100/NVIDIA-Linux-x86_64-550.100.run


3.2更新软件列表和安装必要软件、依赖
sudo apt-get install g++
更新时间较长，请耐心等待


点击回车enter即可 

sudo apt-get install gcc


sudo apt-get install make


点击回车enter即可
成功安装

3.3卸载原有驱动
sudo apt-get remove --purge nvidia*


•使用vim修改配置文件
sudo vim /etc/modprobe.d/blacklist.conf

•按i键进入编辑模式,在文件尾增加两行：
blacklist nouveau
options nouveau modeset=0

按esc键退出编辑模式,输入:wq保存并退出

•更新文件
sudo update-initramfs -u
这里等待时间较久
•重启电脑
sudo reboot
这里需要等一会才能连上

3.4 安装驱动
•授予执行权限
sudo chmod 777 NVIDIA-Linux-x86_64-550.100.run

•执行安装命令
sudo ./NVIDIA-Linux-x86_64-550.100.run


这里一直按回车就行，默认选择

一直按回车enter键，直到安装成功

•检测显卡驱动是否安装成功
nvidia-smi


3.5 安装CUDA
wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.run


•执行安装命令
sudo sh ./cuda_12.4.0_550.54.14_linux.run

•输出accept开始安装
•然后注意这里要按enter取消勾选第一个选项,因为之前已经安装了驱动
•接着选择Install开始安装
•安装完成
3.6 环境变量配置
•以vim方式打开配置文件
sudo vim ~/.bashrc

•按i键进入编辑模式,在文件尾增加下面内容
export PATH="/usr/local/cuda-12.4/bin:$PATH"
export LD_LIBRARY_PATH="/usr/local/cuda-12.4/lib64:$LD_LIBRARY_PATH"

按esc键退出编辑模式,输入:wq保存并退出

•更新环境变量
source ~/.bashrc

•检测CUDA是否安装成功
nvcc -V


三、安装miniconda环境
1.下载miniconda3
wget https://mirrors.cqupt.edu.cn/anaconda/miniconda/Miniconda3-py310_23.10.0-1-Linux-x86_64.sh


2. 安装miniconda3
bash Miniconda3-py310_23.10.0-1-Linux-x86_64.sh -u

直接一直enter键，到输入路径和yes
这边建议路径为：miniconda3
直接回车enter即可，再次输入yes
成功安装

•  切换到bin文件夹
cd miniconda3/bin/

•  输入pwd获取路径
pwd
复制这里的路径

•  打开用户环境编辑页面
vim ~/.bashrc
点击键盘I键进入编辑模式，在最下方输入以下代码 
export PATH="/root/miniconda3/bin:$PATH"

按esc键退出编辑模式,输入:wq保存并退出

• 重新加载用户环境变量
source ~/.bashrc


• 初始化conda
conda init bash


• 验证是否安装成功
conda -V


3.conda配置
• 配置清华镜像源 
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ 
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ 
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/


• 设置搜索时显示通道地址
conda config --set show_channel_urls yes


• 配置pip镜像源
pip config set globalThis.index-url https://pypi.tuna.tsinghua.edu.cn/simple


四、安装Qwen2-Audio
1.克隆仓库
• github克隆
git clone https://github.com/QwenLM/Qwen2-Audio.git

• 国内github镜像克隆
git clone https://mirror.ghproxy.com/https://github.com/QwenLM/Qwen2-Audio.git

• 进入目录
cd Qwen2-Audio/

2.创建Qwen2-Audio需要的环境
conda create -n Qwen2-Audio python=3.10
conda activate qwen2

• 设置清华源、更新pip
pip config set globalThis.index-url https://pypi.tuna.tsinghua.edu.cn/simple
python -m pip install --upgrade pip

• 安装torch 12.4cuda版本
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

• 安装依赖文件
cd demo
pip install -r requirements_web_demo.txt

• 安装webui界面及其他未安装依赖
pip install librosa
pip install --upgrade 'accelerate>=0.21.0'
pip install django
pip install git+https://mirror.ghproxy.com/https://github.com/huggingface/transformers

3.下载模型与启动
• 下载Qwen2-Audio相关模型
pip install modelscope

cd ..
modelscope download --model qwen/qwen2-audio-7b-instruct --local_dir './Qwen/Qwen2-Audio-7B-Instruct'

• 修改端口
vim demo/web_demo_audio.py
按i进行编辑，完成后再按esc，冒号，wq退出

• 启动Qwen2-Audio服务
python demo/web_demo_audio.py