近日,团队研究生尹文萍和刘子琦作为主要作者,在中科院一区TOP期刊《Big Earth Data》发表了一篇关于遥感大数据高性能计算框架的论文。该研究是在其导师薛勇教授(国际欧亚科学院院士、国际宇航科学院通讯院士)的指导下,联合其他学者合作完成的。
随着遥感数据体量和复杂度的持续增长,高性能计算已成为遥感数据处理不可或缺的支撑手段,而工作流技术则是实现高效、自动化处理的重要途径。然而,在异构分布式计算环境中,仍面临任务调度、资源利用和流程管理等多方面挑战。针对上述问题,研究团队提出了面向高性能遥感应用的动态可视化工作流框架 SensWorkflow,旨在简化处理流程并提升整体计算效率。SensWorkflow 集成了大规模数据的高效存储与管理机制,提出了一种可优化负载均衡与任务分配的相亲优化任务调度算法,并支持模型算子管理以及可视化的工作流与任务管理功能。该框架部署于异构分布式集群环境中,采用 BeeGFS 并行文件系统进行数据存储,通过 NoSQL 数据库管理元数据,并基于 HTCondor 实现分布式任务调度。在性能评估方面,研究以气溶胶光学厚度反演算法为例,对 2022 年连续 10 天的中分辨率成像光谱仪数据进行了实验验证,结果表明该框架在处理效率和系统性能方面具有良好表现。
《Big Earth Data》是由国际数字地球学会、中国科学院空天信息创新研究院、中科院战略性先导科技专项“地球大数据科学工程”等单位联合主办的国际学术刊物。
论文链接:
https://www.tandfonline.com/doi/full/10.1080/20964471.2025.2602292?utm_source=researchgate.net&utm_medium=article#abstract
