PXVF3500-KIT_硬件使用
概要
PXVF3500-KIT是针对XMOS的XK-VF3500-L33 开发板的硬件升级,优化了硬件设计及布局,更加适合用户直接使用和项目评估。完全兼容XMOS的XK-VF3500-L33 开发板,所用的DSP芯片为XVF3500。XMOS最新更新发布的XVF3500的固件完全适用于PXVF3500-KIT。
PXVF3500-KIT为4麦线条型阵列设备,作为前端信号处理,实现语音增强,可同时输出两路前端处理后的声音信号,且其分别为用于语音识别(ASR,Automatic Speech Recognition )和用于会议电话(Comms, communication and conferencing)。支持使用USB Audio Class 1协议(UAC1.0)传输音频 ,支持所有流行的操作系统(Windows , MAC, Linux和Android),允许作为USB声卡设备枚举接入操作系统中。
PXVF3500-KIT内置了立体声回音消除(AEC) , 波束程序(BF),噪声抑制(NS)和自动增益(AGC)算法,非常有效地实现在远距离和嘈杂环境提高语音识别率和通话质量。使用USB 接口快速接入各种操作系统,同时配套提供了多套固件,非常适用用户迅速接入语音产品中。
版本
产品版本 | 修改 | 发布时间 |
---|---|---|
PXVF3500-KIT v1 | 初次发布 | 2018年8月6日 |
特点
-
前向180度远距离拾音
-
支持USB Audio Class 1.0 (UAC 1.0)
-
支持USB Control 调试
-
线条型(Linear)4路麦克风阵列
-
支持3.5mm耳机孔作为模拟AEC参考信号
-
支持3.5mm耳机孔作为USB声卡播放
-
DSP 算法和特点
-
Voice Activity Detection(VAD)
-
Full duplex, stereo, Acoustic Echo Cancellation(AEC)
-
Beamforming(BF)
-
Noise Suppression (NS)
-
Automatic Gain Control (AGC)
-
规格
-
XMOS XVF3500 主控,内置4麦阵列算法
-
4路PDM 数字麦克风: SPH0641LM4H-1
-
Sensitivity: -26 dBFS (Omnidirectional)
-
Acoustic overload point: 120 dBSPL
-
SNR: 64 dBA
-
-
供电:USB 5V
-
尺寸:
-
86mmx45mm (main board)
-
110mmx8.2mm (mic board) & 33.3mm 麦克风间距
-
-
可选模拟AEC参考信号输入
-
ADC: ES7243
-
3.5mm耳机孔
-
-
音频传输:
-
USB UAC 1.0 输入,ASR and Comms
-
USB UAC 1.0 输出,可选在UAC playback作为AEC 参选信号,3.5mm耳机孔模拟输出
-
采样率:16KHz/48KHz(默认)
-
-
功耗: 5V, 260mA (Max)
硬件概述
- XMOS XVF3500 :集成了UAC1.0和4 麦阵列算法,包含了立体声回音消除(Steroe AEC) , 波束成形(BF),噪声抑制(NS)和自动增益(AGC)算法
- Micro USB : 提供5V电源,并且传输音频和固件更新,控制和调试
- QSPI Flash:存储XVF3500固件
- DAC ES7154:USB 声卡(UAC1)音频输出解码芯片
- ADC ES7243:选择模拟信号作为AEC参考信号时,转I2S数字信号给XVF3500(可选项)
- XMOS XTAG:XMOS专用调试工具XA-XTAG接口
- Line-out Phone-jack:DAC的芯片的line-out 3.5mm耳机孔
- LIne-in Phone-jack:ADC芯片的Line-in 3.5mm耳机孔
- MIC0~4:PDM 数字麦克风,线条型等距(33.3mm)分布
- FPC interface: 通过FPC线把XVF3500的4路麦克风扩展出一个独立麦板
- Buffer logic IC: PDM 麦克风data和CLK pin驱动能力加强和MUTE控制
系统连接框图
尺寸
应用场合
- 视频通话(Comms)
- 机顶盒(ASR)
- Soundbar(ASR)
- 智能电视(ASR)
开始
第一个Demo
通常情况下,用户拿到PXVF3500-KIT PCBA板后,建议先在Windows系统做初步使用和认证。使用Micro USB 数据线来连接PXVF3500-KIT和Windows系统电脑,需要做初步设置和确认。
声卡设备设置
确认Windows设备管理器已经成功枚举了PXVF3500-KIT,并且打开声音控制面板进行设置
确认设备管理器->音频输入和输出是否存在
XMOS VoclalFusion St(uac1.0)是否成功枚举,PXVF3500-KIT作为USB Audio Class 1.0设备
关于XMOS Control可以在后面需要调试时在安装驱动,初次使用时可以先跳过
在声音界面进行设置和确认
1,在播放栏项,设置XMOS VoclalFusion St(UAC1.0)为默认设备
2,在录制栏项,设置XMOS VoclalFusion St(UAC1.0)为默认设备
3,同时确认播放和录制栏项的音频格式设置为一致,如16bit ,16000KHz或者16bit 48000KHz
Demo 和录音
使用Audacity第三方开源录音软件在Windows系统进行录音设置,运行Audacity进行录音。
PXVF3500-KIT出厂默认固件为USB输入8ch 16kHz采样率处理后的声源,其中ch0为Comms信号,ch1为ASR信号ch[2-5]为mic[0-3] 麦克风的原始信号,ch[6-7]为回音消除的立体声参考信号。
在通常的操作系统中,系统都会默认使用ch0作为ASR或者Comms来当作麦克风输入,所以PXVF3500-KIT输入8ch并不会影响实际上的使用。
在其他操作系统如MAC OSX和Linux操作系统,Demo和录音的用法跟Windows类似。
固件和DFU升级
如果PXVF3500-KIT的出厂默认固件满足不了用户的配置需求,可以在Firmware中选择其他配套的固件,使用USB数据线连接PC电脑,使用配套提供的DFU(Device Firmware Update)工具进行更新固件。
安装驱动
Windows系统:
PXVF3500-KIT在操作系统中都能识别成XMOS VoclalFusion St(uac1.0)作为声卡输入输出,而Windows系统中的设备管理器显示的XMOS Control需 要安装USB驱动,才能使用XMOS提供的dfu_usb工具进行升级和使用vfcrtol_usb工具进行DSP 参数控制。推荐使用第三方工具zadig进行安装XMOS Control的USB驱动。
运行zadig,
- 在列表中选择 XMOS Control (Interface 3)
- 然后选择 libusb-win32
- 点击 Reinstall Driver
- 安装完成了后,则会出现类似如下图片显示
Linux系统:不需要安装驱动
Mac 系统:不需要安装驱动
固件列表
PXVF3500-KIT进行过两次版本迭代,保留旧款评估板固件资料,如有需要,用户务必针对评估板版本以及对应硬件版本固件进行升级测试,请勿交叉升级,交叉错误升级会导致设备出错。下面是版本区别:
版本型号 | USB接口 | FLASH | 其他说明 |
---|---|---|---|
PXVF3500-KIT(v1.0) | Micro USB | GD2525Q16 | 2021年1月停产,保留版本固件 |
PXVF3500-KIT(v2.0) | USB Type-C | XT25F16B | 2021年6月硬件版本迭代,发行v2.0版本 |
固件之间的区别请参考下表:
- Version 2.0
- Version 1.0
本固件适用于新版本的PXVF3500-KIT(v2.0)
Firmware | ch0 | ch1 | 采样率 | Description |
---|---|---|---|---|
app_vf_stereo_base_usb_1i1o2_16K_V306.dfu | Comms | - | 16000Hz | Comms output |
app_vf_stereo_base_usb_1i1o2_ASR_16K_V304.dfu | ASR | - | 16000Hz | ASR output |
app_vf_stereo_base_usb_1i2o2_16K.dfu | Comms | ASR | 16000Hz | ch0:Comms; ch1:ASR |
app_vf_stereo_base_usb_1i2o2_48k_V302.dfu | Comms | ASR | 48000Hz | ch0:Comms; ch1:ASR |
app_vf_stereo_base_usb_1i8o2_16K_V301.dfu | Comms | ASR | 48000Hz | default firmware ch0:Comms; ch1:ASR; ch2:mic0; ch3:mic1; ch4:mic2; ch5: mic3 ch6: aec_ref_l;ch7: ace_ref_r |
app_vf_stereo_base_usb_1i8o2_16K_V501_doaTX_1J_9600.dfu | Comms | ASR | 16000Hz | ch0:Comms; ch1:ASR; ch2:mic0; ch3:mic1; ch4:mic2; ch5: mic3 ch6: aec_ref_l;ch7: ace_ref_r;DOA Serial Output: TX_IO: Tile2 pin:1J Baud rate 9600 |
app_vf_stereo_base_usb_1i8o2_16K_analog_ref_commout_dfu_v307.bin | Comms | ASR | 16000Hz | I2s reference for AEC(J2),i2s output Comms and ASR(J1) ch0:Comms; ch1:ASR; ch2:mic0; ch3:mic1; ch4:mic2; ch5: mic3 ch6: aec_ref_l;ch7: ace_ref_r |
本固件适用于旧版本的PXVF3500-KIT(v1.0)
这里配套提供了7个固件,主要是USB的音频的通道数,算法方向和采样率作为区别,参考下表。
Firmware | ch0 | ch1 | 采样率 | Description |
---|---|---|---|---|
app_vf_stereo_base_usb_1i1o2.dfu | Comms | - | 16000Hz | Comms output |
app_vf_stereo_base_usb_1i1o2_asr.dfu | ASR | - | 16000Hz | ASR output |
app_vf_stereo_base_usb_1i1o2_48k.dfu | ASR | - | 48000Hz | 48kHz Comms output |
app_vf_stereo_base_usb_1i2o2.dfu | Comms | ASR | 16000Hz | ch0:ASR; ch1:Comms |
app_vf_stereo_base_usb_1i2o2_48k.dfu | Comms | ASR | 48000Hz | ch0:ASR; ch1:Comms |
app_vf_stereo_base_usb_1i8o2.dfu | Comms | ASR | 16000Hz | default firmware ch0:Comms; ch1:ASR; ch2:mic0; ch3:mic1; ch4:mic2; ch5: mic3 ch6: aec_ref_l;ch7: ace_ref_r |
app_vf_stereo_base_usb_1i8o2_analog_ref.dfu | ASR | ASR | 16000Hz | ch0:Comms; ch1:ASR; ch2:mic0; ch3:mic1; ch4:mic2; ch5: mic3 ch6: aec_ref_l;ch7: ace_ref_r |
DFU升级
Windows系统:
PXVF3500-KIT的使用USB进行DFU升级的工具为dfu_usb.exe,打开cmd命令行终端工具,cd进入pvf3500/xvf3500_dfu文件夹,键入如下指令或者或者复制其中对于固件的指令进行运行。
dfu_usb write_upgrade ../firmware/app_vf_stereo_base_usb_1i1o2.dfu
执行完之后,打印出一下信息说明固件DFU升级成功
Attempting to connect via USB: connected
Sending file size: 0x38800 padded to 0x38800
Written bytes: 0x38800
done
其他操作系统如Mac OS和Linux的使 用Terminal,键入指令和打印的内容一致。DFU升级成功后,需要对板子重启或者重新上电
dfu_usb reboot
在通常情况下,在windows系统DFU升级成功后,PXVF3500-KIT会遇到无法录制使用,问题可以在FAQ:Q1找到答案
DSP control 在线调试
上文提供的所有固件都是使用XMOS Vocal Fusion默认的DSP参数,其实PXVF3500-KIT也支持在线调试麦克风阵列DSP 算法参数。使用DSP Control工具为vfctrol_usb(exe)。在进行在线调试工作前,建议用户认真阅读XMOS的文档资料[XVF3500 DSP Databrief.pdf](../../asserts/pxvf3500/doc/XVF3500 DSP Databrief.pdf)。足够了解麦克风阵列相关算法名称和DSP 参数,才方便进行在线调试。并且下文描述内容跟XMOS提供的文档一致。
以下内容已经假设用户对麦克风阵列的DSP算法,已经有一定的了解,或者根据文档自行了解熟悉,并且了解其DSP参数和数值
Acoustic Echo Cancellation (AEC)
Beamforming(BF)
Voice Activity Detection (VAD)
Noise Suppression (NS)
Automatic Gain Control (AGC)
在线调试
windows系统
确保PXVF3500-KIT在设备管理器中的XMOS Control驱动已经安装(仅windows系统需要)
windows系统,运行cmd,并且cd进入pxvf3500/xvf3500_control,键入类似指令以运行vfctrol_usb,便可进行在线调试
vfctrl_usb MIN_NS
打印输出的信息如下:
MIN_NS:0.15
其 他操作操作系统运行Terminal终端,但是同时需要提前编译出vfctrol_usb工具,进行同样的操作即可。cd进入路径pxvf3500/xvf3500_control/host/control
。
Mac OS:
make -f Makefile.OSX
LInux:
make -f Makefile.Linux64
Raspberry Pi
make -f Makefile.Pi
XVF3500里面有很多DSP参数可配置,用户根据[XVF3500_DSP_Databrief.pdf](../../asserts/pxvf3500/doc/XVF3500 DSP Databrief.pdf ) 的介绍,可以实现通过USB HID(XMOS Control)进行在线调试参数
在线调试的参数仅存在XVF3500 RAM内存中, 断电即复位为默认值,如确实需要保存已调试的参数到flash中,需要生成DFU配置固件。
资源下载
PXVF3500-KIT.zip全部的资料(点击下载)
支持和商务
PXVF3500-KIT支持PCBA定制服务,提供批量PCBA和芯片供应服务。
任何的技术支持和商务合作,可以直接邮箱联系我们:mic@pawpaw.cn,或者访问www.pawpaw.cn了解更多。
FAQ
Q1: DFU更新完之后,在windows操作系统下使用audacity录制出错的原因
出现该问题仅是在Windows系统,其他操作系统Mac和Linux并不会存在这个情况。由于windows系统对声卡有记忆功能,DFU固件了后,可能改变了与之前声卡的记忆,导致了使用第三方软件如audacity无法录制音频,这时需要使用usbdeview进行删除Windows的对声卡的记忆。
USB连上PXVF3500-KIT和windows PC,运行usbdeview,点击Connected栏项以列出XVF3500相关枚举情况;逐一选择XVF3500的枚举,右击后出现新的界面;选择Uninstall Selected Devices进行删除Windows的声卡的记忆;重新上电即可。
Q2:dfu_usb和vfctrl_usb显示could not find device和无法使用的原因?
确保USB连接了PXVF3500-KIT和PC,并且确保已经使用了zadig进行安装了XMOS Control的驱动。如果问题仍出现,尝试确认一下XMOS Control是否已经枚举,亦或者卸载XMOS Control驱动,并且使用zadig重新按照。
Q3: 有提供例程连接语音识别平台吗?
抱歉,这方面我们没有提供例程,类似Alexa和Aliyun等语音识别API,我们没有办法提供相关例程。