- 7 次围观
背景:自动化行为追踪日益广泛地应用于生物学和生物医学研究;然而,在异质性成像条件下保持稳健性仍是一项重大挑战。由光照、对比度或采集设置变化引起的域偏移,可能显著降低计算机视觉和深度学习模型的性能,从而限制其实际应用价值。对于小规模生物学数据集而言,这一问题尤为突出,因为大规模标注和重新训练通常并不现实。方法:我们开发了一种针对大蜡螟幼虫的行为追踪框架,该框架结合了经典计算机视觉(CV)流程、YOLOv8s-seg + ByteTrack 深度学习流程,以及生成式域适应方法。行为记录在两个独立的实验阶段中采集,采用不同的光照条件(顶部照明和底部照明),由此形成自然的跨阶段域偏移。经典流程基于轮廓检测、自适应预处理、时间平滑和轨迹重建。深度学习模型使用 320 帧人工标注图像进行训练,并在阶段内和跨阶段两种设置下进行评估。为提高模型的泛化能力,我们研究了利用 StyleGAN2-ADA 的生成式增强方法,以及利用 CycleGAN 的无配对图像到图像转换方法。随后,进一步通过多种行为描述指标对追踪结果进行分析,包括轨迹、移动距离、速度、空间占据热图和定向运动模式。结果:经典 CV 流程在两个记录阶段中均取得了较高的检测性能,平均检测率分别为 99.05% 和 99.71%。YOLOv8s-seg 模型在阶段内表现出较强的性能,但呈现出严重的在跨会话评估中,幼虫掩膜分割性能下降至 mAP@0.5 = 9.1%,证实了存在显著的域偏移。尽管检测方法存在差异,但基于 YOLO 和计算机视觉(CV)流程获得的行为指标在群体层面表现出较强的一致性(Pearson 相关系数 r = 0.89;距离比中位数 = 0.99)。采用 StyleGAN2-ADA 进行生成式增强并未带来有意义的跟踪鲁棒性提升,这可能是由于基线性能已经接近上限;相比之下,基于 CycleGAN 的域适应显著缩小了域间差距,提高了跨会话检测性能,同时保留了具有生物学意义的轨迹结构和空间行为模式。结论:跨会话变异性是生物学实验中自动化行为跟踪面临的关键挑战。我们的研究结果表明,在小数据场景下,经过精心设计的经典计算机视觉方法能够实现高度可靠的跟踪,而深度学习模型则需要采用明确的策略来应对域偏移。生成式域适应,尤其是基于 CycleGAN 的图像转换,为提升跨会话泛化能力提供了一种有效方案,且无需额外的人工标注。本文提出的框架为大规模开展大蜡螟及其他小型生物模式生物的行为表型分析提供了稳健基础。
Galleria mellonella 幼虫自动行为跟踪中的跨会话泛化:经典计算机视觉、深度学习与生成式领域自适应的比较 | bioRxiv
跳转至主要内容
首页
关于
投稿
提醒 / RSS
搜索此关键词
高级搜索
最新结果
Galleria mellonella 幼虫自动行为跟踪中的跨会话泛化:经典计算机视觉、深度学习与生成式领域自适应的比较
查看 ORCID 个人资料
Kasjan
Smigielski
,
查看 ORCID 个人资料
Natalia
Piorkowska
doi:
https://doi.org/10.64898/2026.07.24.740557
Kasjan Smigielski
1
波兰弗罗茨瓦夫,WSB Merito 大学计算机科学学院;
在 Google Scholar 中查找该作者
在 PubMed 中查找该作者
在本网站搜索该作者
Kasjan Smigielski 的 ORCID 记录
Natalia Piorkowska
2
波兰弗罗茨瓦夫,弗罗茨瓦夫科技大学信息与通信技术学院
在 Google Scholar 中查找该作者
在 PubMed 中查找该作者
在本网站搜索该作者
Natalia Piorkowska 的 ORCID 记录
通讯作者:
natalia.piorkowska{at}pwr.edu.pl
摘要
信息/历史
指标
数据/代码
预览 PDF
摘要
背景:自动化行为跟踪日益广泛地应用于生物学和生物医学研究;然而,在异质成像条件下保持稳健性仍然是一项重大挑战。由光照、对比度或采集装置变化所引起的领域偏移,可能会显著降低计算机视觉和深度学习模型的性能,从而限制其实际应用价值。对于小规模生物学数据集而言,这一问题尤为重要,因为进行大规模标注和重新训练通常并不现实。
方法:我们开发了一种行为跟踪
结合经典计算机视觉(CV)流程、YOLOv8s-seg + ByteTrack 深度学习流程以及生成式域适应方法的黑菌甲幼虫研究框架。行为记录采集于两个相互独立的实验时段,采用不同的照明条件(顶部照明和底部照明),从而形成了自然的跨时段域偏移。经典流程基于轮廓检测、自适应预处理、时间平滑和轨迹重建。深度学习模型在 320 帧人工标注图像上进行训练,并分别在时段内和跨时段设置下进行评估。为提高泛化能力,我们研究了利用 StyleGAN2-ADA 进行生成式增强的方法,以及利用 CycleGAN 进行无配对图像到图像转换的方法。随后,通过行为描述指标对跟踪输出进行进一步分析,包括轨迹、移动距离、速度、空间占用热图和定向运动模式。
结果:经典 CV 流程在两个记录时段中均取得了较高的检测性能,平均检测率分别为 99.05% 和 99.71%。YOLOv8s-seg 模型在时段内评估中表现出较强的性能,但在跨时段评估下出现了严重下降,幼虫掩膜分割性能降至 [email protected] = 9.1%,证实存在显著的域偏移。尽管检测方法存在差异,但由 YOLO 和 CV 流程得到的行为指标在群体层面表现出较高的一致性(Pearson 相关系数 r = 0.89;距离比中位数 = 0.99)。采用 StyleGAN2-ADA 进行生成式增强并未在跟踪鲁棒性方面带来有意义的提升,这可能是因为基线性能已经接近上限;而基于 CycleGAN 的域...
适应过程显著缩小了域间差异,并提升了跨会话检测性能,同时保留了具有生物学意义的运动轨迹结构和空间行为模式。
结论: 跨会话变异性是生物学实验中自动化行为追踪面临的关键挑战。我们的结果表明,在小数据场景下,经过精心设计的经典计算机视觉方法能够实现高度可靠的追踪,而深度学习模型则需要采用明确的策略来应对域偏移。生成式域适应,尤其是基于 CycleGAN 的图像转换,为提升跨会话泛化能力提供了一种有效解决方案,且无需额外的人工标注。所提出的框架为对大蜡螟(*Galleria mellonella*)及其他小型生物模式生物开展可扩展的行为表型分析提供了稳健基础。
利益冲突声明
作者声明不存在利益冲突。
脚注
https://github.com/kasjansmigielski/cv-dl-larvae-domain-adaptation
基金信息声明
弗罗茨瓦夫医科大学
SUBZ.D300.26.018
版权
本预印本的版权持有人为作者/资助方,其已授予 bioRxiv 永久展示该预印本的许可。
该预印本依据
CC-BY 4.0 国际许可协议
公开提供。
返回顶部
上一篇
下一篇
发表于 2026 年 7 月 28 日。
下载 PDF
数据/代码
电子邮件
感谢您有兴趣传播 bioRxiv 上的内容。
注意: 请求提供您的电子邮件地址仅用于确认您是本文的发送者。
您的电子邮件地址
*
您的姓名
*
发送至
*
请输入多个地址,每行一个,或使用逗号分隔。
您将要发送的文章:
《大蜡螟幼虫自动化行为追踪中的跨会话泛化》
经典计算机视觉、深度学习与生成式领域适应的比较
消息主题
(您的姓名)已从 bioRxiv 向您转发了一个页面
消息正文
(您的姓名)认为您可能会对 bioRxiv 网站上的此页面感兴趣。
您的个人留言
验证码
此问题用于测试您是否为人类访客,并防止自动垃圾信息提交。
分享
跨实验会话泛化在大蜡螟幼虫自动行为追踪中的应用:经典计算机视觉、深度学习与生成式领域适应的比较
Kasjan
Smigielski
,
Natalia
Piorkowska
bioRxiv
2026.07.24.740557;
doi:
https://doi.org/10.64898/2026.07.24.740557
分享本文:
复制
引文工具
跨实验会话泛化在大蜡螟幼虫自动行为追踪中的应用:经典计算机视觉、深度学习与生成式领域适应的比较
Kasjan
Smigielski
,
Natalia
Piorkowska
bioRxiv
2026.07.24.740557;
doi:
https://doi.org/10.64898/2026.07.24.740557
引文管理器格式
BibTeX
Bookends
EasyBib
EndNote(带标签)
EndNote 8(XML)
Medlars
Mendeley
Papers
RefWorks(带标签)
Ref Manager
RIS
Zotero
推文组件
Facebook 点赞
Google +1
主题领域
动物行为与认知
主题领域
所有文章
动物行为与认知
(7830)
生物化学
(18306)
生物工程
(14486)
生物信息学
(43319)
生物物理学
(22074)
癌症生物学
(19184)
细胞生物学
(26303)
临床试验
(138)
发育生物学
(13700)
生态学
(20507)
流行病学
(2067)
进化生物学
(24960)
遗传学
(15910)
基因组学
(23103)
免疫学
(18296)
微生物学
(41524)
分子生物学
(17620)
神经科学
(91345)
古生物学
(683)
病理学
(2927)
药理学与毒理学
(4973)
生理学
(7920)
植物生物学
(15592)
科学传播与教育
(2073)
合成生物学
(4449)
系统生物学
(10043)
动物学
(2329)
关键词:蜡螟幼虫行为追踪 · 跨会话泛化 · 域偏移 · 计算机视觉 · 深度学习 · 生成式域适应
原文链接:https://www.biorxiv.org/content/10.64898/2026.07.24.740557v1?rss=1