August 14, 2025
8.04-8.10
804-810
上周的内容安排主要集中于更好地调整自身状态以适应假期的学习方式与生活节奏。
Introduction
- 建立了有效的Insect Sample Separation Workflow，构建了几组行之有效的提取分割算法，并加深了对传统计算机视觉任务与方法的理解
- 同zyc学长就eeg-music reconstruction研究课题进行探讨，在前期文献与代码阅读的基础上确认了工作计划与推进安排，同时开始代码复现工作
- 初步了解了研究生考试的具体内容，练手了数、英、政三门科目的往年真题
- 成功开启并持续推进体育锻炼，每晚按时远程同npy进行户外活动
Main Content
Insect Sample Separation
作为传统计算机视觉任务的一个子支，目标检测与实例分割一直是值得不断优化的课题。
具体到生物学和医学的范畴，并作为数据科学与统计学，尤其是深度学习这一领域的重要数据来源，生物医学样本的采集与处理显得尤为重要。
针对目标课题的任务方向，我开始对上百种、每种一万例的农业害虫的生殖器官样本切片进行显微镜下成图的批量分割工作。这是一个任务量庞大的工作，但确实加深了我对计算机视觉基础与进阶方法的理解与对自适应分割策略的迭代优化的思考。
首先，我需要明确一些变量:
- 不同种类虫体在色彩空间、像素值、对比度(背景区分度)上的差异
- 不同种类虫体在形态学、轮廓特征、个体大小上的差异
- 摄像头距样本平台的距离差异所引入的无关黑色背景的面积差异
- 不同摄像头规格带来的成像质量与分辨率差异
- 样本平台的不同尺寸所带来的画面中样本孔个数差异
- 由虫体大小不同所带来的画面中虫体个数差异
- 由环境光线及人工补光差异所带来的样本孔中透射出的光线强度差异，进而造成视觉上样本孔由亮白色至浅黄色的变化
- 不同虫体所在样本孔中位置的差异，尤其是距离所在样本孔边缘的距离差异
以上种种差异不得不让我们在方法的性能和泛用性间面临一个两难抉择(trade-off)————要么追求极致性能，即有效分割数，代价是需要为每一组不同的原始样本图提供一种与之适配的方案；要么追求极致泛用性，尽可能用相同的算法解决不同的实际情况。
具体到算法层面，我主要针对两大类不同的情况提出了对应的解决方案:
第一种是虫体本身的区分度较样本孔更大的情况；
第二种是样本孔的区分度较虫体本身更大的情况。
也就是说，第一种类型需要我们直接面向虫体本身的特征进行特征提取与直接进行个体层面的识别，包括但不限于亮度滤波、自适应滤波、形态学滤波、色彩空间阈值以及一系列其他的阈值的条件组合。这些方法的共通之处是识别定位的中心永远在虫体上，且随虫子种类变化需要进行一定的阈值调整以及不可避免的存在一些漏检的现象。
第二种类型需要我们直接面向培养孔，也就是一个亮白色的由多圈同心圆组成的略带曲度的玻璃透镜，孔径一致，间距均匀，排列整齐。以上特点本身就足以为我们提供一些检测思路: 无论是Hough圆检测法，还是Otsu阈值分割算法；无论是Watershed检测，还是FRST方法，都能够在不同强度上实现圆环的检测。但问题的关键是我们还有一些上面提到的正则条件，所以在后期的算法打磨中陆续加上了圆心横纵坐标的异常值剔除与均值回归，样本孔半径的异常值剔除与均值回归以及培养板行/列间距的异常值剔除与均值回归。这些作为补充的条件信息能够在一定程度上提高我们分割的鲁棒性与完整性，基本保证能够实现全分割。
EEG-Music Reconstruction
目前的方法是基于Meta的Encodec，即High Fidelity Neural Audio Compression这篇文章提出的一种音频压缩模型框架，尝试通过码本来进行量化压缩并防止过拟合。一个基本的结构就是VQVAE，这里具体采用的是RVQ，即残差向量量化这种技术来构建我们的码本。
在实践中遇到的问题包括不限于:
- 码本数量不少，但有效利用的永远是前几个码本，造成码本坍塌问题，重建出的音乐也会以训练集中的某几首为基调。尝试适当减少码本数量
- 脑电信号的采样率远低于音频编码的采样率，数量级差异大，造成无法充分表征信息
- 脑电信号的数据量较小，如不使用数据增强等手段无法满足需求
- 音乐信号与脑电信号在不同模态空间上难以对齐，需要事先进行CLIP范式的模态对齐技术
- 泛化性不足，难以在多音频刺激与多被试的组合下统一训练一个模型并实现测试时泛化
目前正逐步通过模块改进与补充对比实验的方式来验证一些想法的可行性。
Conclusion and Planning
下周的计划是能够进一步推进Insect Sample Separation的进度，并在eeg-music reconstruction的模型架构上获得一些启发和突破。
This post was created using the automated script.