阅读:925回复:0
栅格地理数据并行格式转换引擎【PDF】
摘 要:如今大规模地理数据正在社会各个部门和组织中迅速积累,但是由于部门利益和历史沿袭等原
因,大规模地理数据共享仍然极具挑战,相应共享技术需求仍然极其旺盛。作为地理数据共享的基础方式之 一,传统单机地理数据格式转换技术,一方面受限于磁盘读写及带宽瓶颈,另一方面面对日趋庞大的数据规 模,已很难满足实际应用需求。因此提出一种针对栅格地理数据的并行格式转换引擎,采用高性能计算集群 环境支持大规模栅格地理数据转换共享,大幅降低了大规模栅格地理数据转换过程的时间成本。栅格地理 数据并行格式转换引擎采用基于公共接口的设计理念,框架灵活、具有良好的扩展性,支持地理数据格式的 读写自定义以及新数据格式添加,能够实现接入数据格式间的任意两两转换。为验证引擎框架及其处理效 率,在Lustre并行集群环境下以格网数据交换格式(国家地理空间数据交换格式)向常见栅格地理格式的转 换为示例进行了测试实验。结果表明,栅格地理数据并行格式转换引擎能够在8个节点Lustre集群中达到 754的良好并行加速比。 关键词:栅格数据格式转换;并行计算;高性能计算;地理计算;Lustre并行文件系统 中图分类号:P208 文献标志码:A 文章编号:1001-2486(2015)05-009-06 |
|
|