文献总结 | 光学复杂近岸水体叶绿素a反演的机器学习集成水色算法优化
文献总结 | 光学复杂近岸水体叶绿素a反演的机器学习集成水色算法优化
叶绿素 a 浓度是衡量水体富营养化程度、估算浮游植物生物量与初级生产力的核心指标,也是海洋与内陆水质遥感的核心反演参数。在开阔大洋一类水体中,浮游植物主导水体光学特性,有色溶解有机物(CDOM)与非藻类颗粒物(NAP)与 Chla 存在强协变性,蓝绿波段反射比算法(如 OCx系列)具备坚实的物理基础与广泛适用性。但在近岸、河口等光学复杂二类水体中,陆源输入、泥沙再悬浮、河流径流等过程导致 CDOM、NAP浓度高且与浮游植物动态解耦,蓝绿波段的光学信号被非藻类组分完全主导,传统蓝绿比值算法失效。为此学界发展了红边 - 近红外波段算法与荧光基线算法,利用 Chla在 680nm附近的吸收与荧光特征反演浓度,但这类算法仍受波段位置固定、区域依赖性强、跨传感器迁移困难等局限。近年来机器学习(ML)在二类水体 Chla反演中得到广泛应用,其无需显式物理假设、可拟合非线性关系的特性带来了精度提升。但现有研究大多直接以原始波段或简单波段比为输入,模型容易学习到传感器或区域特有的噪声而非真实的生物光学关系,存在三大核心缺陷:一是过拟合风险高,在新区域、新传感器上泛化能力弱;二是输入特征共线性强,特征重要性不稳定;三是 “黑箱” 属性强,缺乏物理解释性,难以支撑算法的业务化推广。当前研究的核心缺口在于,尚未建立将物理可解释的传统水色算法有效融入数据驱动机器学习框架的系统化方法,无法同时兼顾反演精度、模型鲁棒性与跨区域迁移性。针对这一问题,本研究提出混合建模思路:先通过遗传算法优化传统Chla反演算法的波段组合,再将优化后的算法指数与特征光谱波段共同作为机器学习输入,结合堆叠集成策略构建最终模型,最终实现光学复杂水体中Chla的高精度、高迁移性反演。研究选择高浑浊潮汐型的荷兰瓦登海为建模区,以光学特征差异显著的美国切萨皮克湾为独立验证区,全面评估模型的泛化能力。1. 研究区域与数据集
研究包含两个研究区:一是荷兰瓦登海,为中潮差高浑浊潮汐滩涂系统,水深 1~40m,Chla 与悬浮颗粒物浓度受潮汐混合、淡水输入、季节变化共同调控,光学异质性强,用于模型开发与本地验证;二是美国切萨皮克湾,为美国最大河口系统,存在显著的浊度、CDOM 与 Chla 空间梯度,用于评估模型跨区域迁移能力。
数据集分为原位数据与卫星数据两类:
(1)原位数据:包含瓦登海 NIOZ 码头站(NJS)2002-2023 年长期高时间分辨率辐射观测与 Chla 采样数据、HA09 项目 57 个站点的空间调查数据,经质量控制与涨潮时段筛选后,共得到 352 组遥感反射率(Rrs)与 Chla 的原位匹配对用于模型训练测试;同时收集荷兰公共工程与水管理部(RWS)6 个站点的 1171 组 Chla 数据,用于卫星产品的独立验证。切萨皮克湾收集 2020-2023 年 49 个站点的表层 Chla 数据,用于跨区域验证。
(2)卫星数据:采用 Sentinel-2 MSI(60m 分辨率)与 Sentinel-3 OLCI(300m 分辨率)L1 级数据,分别采用 C2X 与 C2RCC 算法进行大气校正,经云掩膜、太阳耀斑去除、高浑浊像元剔除、无效光谱过滤、均匀性检验等质量控制后,通过 ±1 小时时间窗口、3×3/5×5 空间窗口构建卫星 - 原位匹配对,瓦登海共得到 52 组 S2、357 组 S3 匹配对,切萨皮克湾得到 92 组 S2、126 组 S3 匹配对。此外采用 SEBEI 海底效应指数掩膜浅水区底质反射干扰的像元。
2. 传统叶绿素算法优化
研究选取 5 类共 10 种主流 Chla 反演算法作为候选:① 经验蓝绿比值算法 OC3、OC4;② 荧光基线算法 FLH、MCI;③ 半分析 NIR - 红波段算法,包括二波段、三波段、四波段比值与 Gons2005 模型;④ 高浑浊水体合成叶绿素指数 SCI;⑤ 一阶导数峰谷比 FDPR。
为突破传统逐步寻优易陷入局部最优的局限,研究采用遗传算法(GA)对 NIR - 红波段与荧光算法的波段中心位置进行全局优化,以算法反演值与实测 Chla 的 RMSE 最小化为目标函数,约束波段波长顺序,在 350-950nm 光谱范围内搜索全局最优波段组合。同时通过 Rrs 光谱的一阶、二阶导数分析,提取对 Chla 信号最敏感的特征波段,补充为机器学习的输入特征。
3. 机器学习建模与集成
研究选取 6 种代表性机器学习算法构建基模型:随机森林(RF)、梯度提升决策树(GBDT)、支持向量回归(SVR)、核岭回归(KRR)、K 近邻(KNN)、多层感知机(MLP)。采用 Optuna 工具的贝叶斯优化策略进行超参数寻优,以 10 折 5 次重复交叉验证的 RMSE 为优化目标。
特征选择方面,采用SHAP(沙普利加性解释)方法量化每个输入特征对模型输出的贡献,筛选出统计显著且贡献度高于中位数的特征,最终得到 5 个算法指数(二波段、三波段、四波段、Gons2005、FDPR)与 4 个特征光谱波段作为统一输入特征集,在降低维度的同时保留核心生物光学信息。
模型训练采用 1001 次随机 7:3 训练 - 测试拆分的蒙特卡洛策略,取中位数模型作为最终基模型,降低单次数据拆分的随机性影响。在基模型评估基础上,选取表现最优的 GBDT、SVM、MLP 三个异构模型,采用堆叠(Stacking)集成策略,以岭回归为元学习器融合三个模型的预测结果,构建最终的集成 ML 模型。研究整体技术流程如图 1 所示。
1. 传统算法优化效果
经遗传算法优化后,各 NIR-红波段算法的最优波段位置与前人针对浑浊近岸水体的研究结论基本一致。图2 展示了优化后 4 种核心 NIR-红波段指数与原位 Chla 的拟合关系:所有算法均与 Chla 呈现显著正相关,决定系数R²在 0.71~0.76 之间,其中四波段算法拟合效果最优(R²=0.76),二波段算法精度最低。全算法精度对比显示:蓝绿波段的 OC3、OC4 算法精度极差(R²仅 0.19~0.20),完全不适用于该高浑浊区域;FLH、SCI 算法在低 Chla 浓度下误差极大,MAPE 超过 90%;NIR-红波段系列算法与 FDPR 算法表现最优,四波段算法 RMSE 达 4.40 mg/m³,MAPE 为 40.30%。从误差分布看,所有算法在 Chla<3 mg/m³的低浓度区间误差显著偏高,相对误差达 62%~208%;在 Chla>20 mg/m³的高浓度区间精度明显提升,相对误差降至 20%~67%。图2. 优化后四种 NIR-红波段算法指数与原位 Chla 的拟合关系SHAP 特征重要性分析结果如图3 所示:算法特征集中,二波段、三波段、四波段与 Gons2005 在所有 ML 模型中均为核心贡献特征;光谱波段集中,红边波段(~675nm)与近红外波段(735nm、810nm、830nm)的贡献度最高,与 Chla 红边吸收、近红外散射的生物光学规律完全一致,验证了特征的物理合理性。基模型测试精度显示:GBDT、MLP、SVR 三个模型表现最优,其中 GBDT 测试集R²达0.91,RMSE 为 2.53 mg/m³,MAPE 为 18.03%,在全浓度区间均保持稳定误差;KRR 与 KNN 效果较差,R²仅 0.69~0.70,且 KNN 存在明显的低浓度低估问题。图3. 不同机器学习模型的 SHAP 特征重要性排序堆叠集成模型展现出优于所有单个基模型的性能,原位测试集上R²达 0.92,RMSE 为 2.55 mg/m³,MAPE 仅 16.70%。相对误差分布显示,集成模型在全 Chla 浓度区间均保持稳定精度:低浓度(≤3 mg/m³)相对误差约 20%,中高浓度区间相对误差仅 12%~15%,显著改善了传统算法低浓度误差过大的痛点。经光谱响应函数适配到卫星波段后,模型在真实卫星数据上的验证结果如图4 所示:瓦登海本地验证中,Sentinel-2 R²为 0.73、RMSE 为 2.75 mg/m³,Sentinel-3 R²为 0.79、RMSE 为 2.71 mg/m³;切萨皮克湾跨区域验证中,Sentinel-2 R²达 0.75、RMSE 为 2.9 mg/m³,Sentinel-3 R²达 0.81、RMSE 为 2.3 mg/m³。两个区域、两个传感器上均保持了较高精度,证明模型具备优异的跨传感器与跨区域迁移能力。空间制图对比显示,传统二、三、四波段算法在潮汐水道低浓度区存在大量反演失效的无效像元,且近岸高浑浊区存在明显高估;集成 ML 模型的 Chla 空间分布更连续平滑,无效像元大幅减少,能同时准确刻画潮滩高值区与潮汐水道低值区的空间梯度。切萨皮克湾的制图结果(图5)显示,模型能合理呈现从河口上游到外海的 Chla 递减梯度,空间格局与该区域已有的认知完全一致,进一步验证了模型的实际应用价值。图5. 切萨皮克湾 Sentinel-2 与 Sentinel-3 反演的 Chla 空间分布1. 研究讨论
与同类研究相比,本研究提出的混合集成模型在精度与迁移性上均具备优势:现有研究在同类浑浊水体中 ML 模型 R²多集中在 0.48~0.80 区间,本研究原位与卫星验证的精度均处于同类研究的上游水平,且跨区域验证未出现显著精度下降,突破了多数区域模型迁移性差的局限。研究的核心创新在于将物理可解释的优化算法作为机器学习输入,而非直接使用原始波段:一方面,传统算法编码了已知的生物光学规律,约束了模型的解空间,有效降低了过拟合风险;另一方面,SHAP 特征分析可清晰解释每个物理指数的贡献,大幅缓解了机器学习的“黑箱”问题。遗传算法的全局波段寻优则充分挖掘了不同传感器的光谱潜力,为跨传感器适配提供了基础。研究同时系统分析了不确定性来源:一是输入特征仅包含反射率衍生指数,未纳入固有光学量、水温、水深等辅助变量,限制了极端光学条件下的模型表现;二是训练数据仅覆盖涨潮时段,落潮与极端高浑浊、强水华场景的代表性不足;三是大气校正残差是卫星反演的主要误差来源,Sentinel-2 因红边光谱分辨率较低,精度略逊于 Sentinel-3。此外模型在 Chla 浓度超出训练范围的极端场景下仍存在不确定性。(1)遗传算法可有效优化 NIR - 红波段与荧光算法的波段位置,显著提升传统算法在高浑浊水体的反演精度,四波段算法在所有传统算法中表现最优。(2)将物理可解释的优化算法指数与特征波段作为机器学习输入,结合 SHAP 特征选择,可在提升模型精度的同时保留可解释性,有效降低过拟合风险。(3)基于 GBDT、SVM、MLP 的堆叠集成模型精度优于所有单个基模型,原位测试R²达 0.92,且在低 Chla 浓度区间表现显著优于传统算法。(4)模型具备优异的跨传感器与跨区域迁移能力,在切萨皮克湾的独立验证中仍保持R² 0.75~0.81 的高精度,证明物理先验与数据驱动结合的思路可有效提升二类水体反演模型的泛化能力。以上总结仅代表个人对论文的理解,仅供研究参考所用,不用于商业用途。若上述理解内容有误,请以论文原文为主。未经同意,禁止转载。
https://doi.org/10.1016/j.isprsjprs.2026.03.045点击左下方“阅读原文” 可下载论文原文。
湖泊遥感与智慧流域创新团队,主要围绕湖泊开展历史重构、现状观测和未来变化模拟等模型研制和应用实践工作,并在流域尺度开展大数据智慧管理平台研究,保障湖泊水质安全。团队近年承担了国家杰出青年科学基金、联合重点基金、国际合作基金等国家级项目10余项,成果广泛应用到太湖、巢湖和滇池等重点湖泊,荣获省部级科学技术一等奖4项,二等奖2项。
团队招收博、硕士研究生,欢迎联系和报考!
联系人:徐老师,ytxu@niglas.ac.cn。
本文来自网友投稿或网络内容,如有侵犯您的权益请联系我们删除,联系邮箱:wyl860211@qq.com 。