Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

你好请问下这组数据是真实数据还是合成的数据 #2

Open
maoyapeng opened this issue May 10, 2023 · 12 comments
Open

你好请问下这组数据是真实数据还是合成的数据 #2

maoyapeng opened this issue May 10, 2023 · 12 comments

Comments

@maoyapeng
Copy link

这是我做出了的效果
1683728084399

@changxuding
Copy link
Owner

这是我做出了的效果 1683728084399

实录的数据

@changxuding
Copy link
Owner

另外做的这组数据时使用的监听音箱产生的回声相对比较线性,用上普通单滤波器的mdf就可以出一个不错的效果,我这里主要还是用来验证算法的正确性。我这里把athena aec简化后的m版本效果和他原版的c的效果还有些差距= =

@maoyapeng
Copy link
Author

怪不得,除了仿真数据,没怎么见过线性这么好的实采数据。刚开始收敛过程中感觉我的有点问题,你那有什么比较好的方法能做出好的效果吗

@changxuding
Copy link
Owner

LMS类的很难做到在初始收敛速度上覆盖各个场景,这方面感觉还是得尝试RLS类的,像Kalman就可以比较好做到这一点,但同样需要更多点的资源

@maoyapeng
Copy link
Author

LMS类的很难做到在初始收敛速度上覆盖各个场景,这方面感觉还是得尝试RLS类的,像Kalman就可以比较好做到这一点,但同样需要更多点的资源

这个就是kalman做出来的,真正在用的时候还要覆盖很大回声路径变化范围,在一个比较弱的芯片上还要跑多路,很吃力

@changxuding
Copy link
Owner

LMS类的很难做到在初始收敛速度上覆盖各个场景,这方面感觉还是得尝试RLS类的,像Kalman就可以比较好做到这一点,但同样需要更多点的资源

这个就是kalman做出来的,真正在用的时候还要覆盖很大回声路径变化范围,在一个比较弱的芯片上还要跑多路,很吃力

kalman调一下这个测试音频开始的收敛会快不少,我那个Suband_kalman的库可以跑一下看看。芯片上可以从simd上做做文章,性能和资源确实需要trade-off一下,不过从扬声器和声学角度也可以考虑下

@maoyapeng
Copy link
Author

感谢,采用的频域分块的kalman,simd也已经用上了,四核芯片,一个核上跑两路。现在考虑定点话,担心精度达不到

@changxuding
Copy link
Owner

感谢,采用的频域分块的kalman,simd也已经用上了,四核芯片,一个核上跑两路。现在考虑定点话,担心精度达不到

mdf需要fft太多次,耗时是个问题,如果fft做不了像硬件模块加速在优化速度就比较难了。

@maoyapeng
Copy link
Author

感谢,采用的频域分块的kalman,simd也已经用上了,四核芯片,一个核上跑两路。现在考虑定点话,担心精度达不到

mdf需要fft太多次,耗时是个问题,如果fft做不了像硬件模块加速在优化速度就比较难了。

考虑需要低延时,还要在大混响场景去回声,fft复杂度大概占到30%,最复杂的还是在计算步长那部分。另外非线性回声有什么好的方法嘛

@changxuding
Copy link
Owner

感谢,采用的频域分块的kalman,simd也已经用上了,四核芯片,一个核上跑两路。现在考虑定点话,担心精度达不到

mdf需要fft太多次,耗时是个问题,如果fft做不了像硬件模块加速在优化速度就比较难了。

考虑需要低延时,还要在大混响场景去回声,fft复杂度大概占到30%,最复杂的还是在计算步长那部分。另外非线性回声有什么好的方法嘛

传统的办法简单且有效的可能就时speex和webrtc开源的两种,或者用一些后置滤波volterra一类的,如果有确定扬声器型号针对性的建模也是个办法,资源多一点可以和降噪NN放到一起做。

@maoyapeng
Copy link
Author

多谢指点,另外远场视频会议场景下,多通道语音增强,是什么实际应用可行性比较高的方法嘛

@changxuding
Copy link
Owner

我个人感觉这个方面如果资源较低可能考虑做传统波束加上后置滤波或者加个降噪的nn;资源够的话可以尝试nn的多通道分离,这个方案比较多而且泛化能力相对单通也会更好。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants