[关闭]
@novachen 2020-10-29T08:08:44.000000Z 字数 1310 阅读 6034

优化的NPP夜光月度数据下载

NPP 夜光


此处输入图片的描述

之前发表了中科院版的全球夜光数据集
但是不少科研课题还是需要从较前端的产品开始做,因而之后有同事联系我批量拷贝原始数据。
在我们的研究工作中发现原始的数据格式可用性较差。我们这里在格式上做了一些改动,而且提供一个国内较快速的下载途径。

原始数据

美国国家海洋大气管理局NOAA下属的国家环境信息中心NCEI下有专门对夜光数据加以处理的小组,他们发布每个月份的合成产品。

但是使用他们的数据存在以下问题:

1)下载速度慢,很可能只有几十KB或者上百KB,而目前整个数据集的大小是180GB;

2)界面上下载文件需要逐个点击,如果需要全球全序列,必须要做大量无聊的人机操作;

此处输入图片的描述

3)下载的格式是.tgz压缩,解压费时很长,解压后是标准无压缩的2.5GB的TIFF文件,这样前完整的全球数据集占用盘空间大小超过1TB。

总而言之,这个原始数据集文件较大,而且在美国的服务器上下载速度很慢,缺少简单的一次性下载的功能,而且下载后还要解压,解压后文件要占用超过1T的硬盘空间,这样一般的电脑还不容易开展研究工作。


改进数据

为了更好的服务中国的科技人员,我们将原始数据集做了一些优化处理。

第一,将数据的格式改成内在无损压缩的TIFF格式,它的大小甚至比原始下载压缩文件还要小一些;
第二,把文件名做了简化处理,更容易拼写,更容易查找,更容易使用。

例如,下面的一个TILE的原始下载文件的大小是389MB,解压后要占2580.1MB,而我们处理完可以直接使用的两个TIF文件是364MB,相比原始下载文件还减小了6.5%,而又比解压后的标准TIFF文件小了90%。另外文件名也缩短到原来的1/4长度。

原始文件 261.7MB 以此为基础即 100%

SVDNB_npp_20170601-20170630_75N180W_vcmcfg_v10_c201707021700.tgz 261.7MB

解压后 2580.1MB 是原始文件的 986%

SVDNB_npp_20170601-20170630_75N180W_vcmcfg_v10_c201707021700.avg_rade9h.tif  2073.7MB
SVDNB_npp_20170601-20170630_75N180W_vcmcfg_v10_c201707021700.cf_cvg 506.4MB

我们处理后 246.3MB 是原始文件的 94%

201706_75N180W_AVE.TIF 199.3MB
201706_75N180W_CNT.TIF 47.0MB

采用我们的新格式后,经测试使用上没有什么问题。

无需解压,下载后直接可以用PHOTOSHOP、ENVI等软件打开操作

此处输入图片的描述

此处输入图片的描述

可以用matlab等科学软件包读入,文件名大幅度缩短,而且读入速度变快了(因为文件大小只有原始格式解压后的10%左右)。

此处输入图片的描述

测试表明,原来读取解压后文件大概要100秒,而读取我们改进后的格式只要33秒。

百度盘地址

https://pan.baidu.com/s/17UqS7P66_6AMdr-a4sfUXA


联系方式

陈甫 副研究员
中国科学院遥感与数字地球研究所
chenfu@radi.ac.cn
13811147935

添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注