神经形态嗅觉学习算法的跨模态应用

我们将一种嗅觉神经形态算法调整用于图像和声音识别。为实现这一点，我们针对每种模态开展了专门定制的预处理过程。对于图像，我们直接使用了 NIST 数字数据集。对于声音，我们使用了来自 Google Speech Command 数据集的样本。对每个样本都应用了 gammatone 滤波器，以降低短时音频样本的噪声，并将时间域声音信号转换为位置频率信号。随后，我们对单刺激测试算法进行了修改，使其能够对从声音文件获得的 gammatone 滤波器频谱图中提取的列进行音频处理。我们还对所有模态实施了 PCA，保留了约 90% 的方差。 结果表明，在连续的“嗅觉”伽马周期过程中，该算法也成功地在图像和声音模态上实现了单样本在线学习。然而，PCA 表征在所有三种模态中都未能与其对应模板达到较高的相似性。

我们将一种嗅觉神经形态算法适配到图像和声音识别中。为此，我们针对每种模态实施了专门设计的预处理过程。对于图像，我们直接使用了 NIST 数字数据集。对于声音，我们使用了 Google Speech Command 数据集中的样本。对每个声音样本均应用了 gammatone 滤波器，以降低短时音频样本的噪声，并将时域声音信号转换为位置频率信号。随后，我们对单刺激测试算法进行了修改，使其能够基于从声音文件获得的 gammatone 滤波谱图中提取的列来处理音频。我们还对所有模态实施了 PCA，在保留约 90% 方差的情况下进行降维。结果表明，在序列式“嗅觉”伽马周期过程中，该算法同样能够在图像和声音模态上成功实现一次性在线学习。然而，对于全部三种模态，PCA 表征均未能与其对应模板达到较高的相似性。

📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.06.02.727939v1?rss=1

🏷️ 神经形态计算 跨模态学习 单样本在线学习 图像识别 声音识别 PCA降维