卫星虽被形象地称为“天眼”,事实上卫星数据的应用,却难以做到“尽收尽用”。
中国工程院院士杨小牛就曾经表示,卫星在天上飞来飞去,效能其实并不高,每天只有几十分钟时段内采集到的数据是地面需要的。
那些大量的被认为是无效数据的“废片”,有没有可能被利用起来?
近日,清华大学理学院院长、地球系统科学系主任宫鹏介绍,在高性能云计算的支持下,通过数据建模、人工智能算法等手段,清华大学地球系统科学系制作完成了首套中国30米逐日无缝遥感观测数据集,以及逐季节土地覆盖和逐年土地利用的数据集,让“拼图无解”的卫星“废片”能够成为高分辨率的地图资源。
人工智能深度“补片”
“传统的对地卫星观测,拍下来的照片是不同时间采集的,拼在一起并不完整,使用门槛很高。”宫鹏解释,卫星直接获得的图片不能拿来直接用,因为卫星图片不是自然连续的,很可能像100块的拼图,有时候是少了50块的效果,但也有可能同样的拼图来了好几块。
不止如此,卫星轨道的偏差还会造成同一地方不同时间拍摄的图片难以重叠,云彩的遮挡、雾气不均匀的散射都会导致大量的卫星遥感数据难以反映地表的真实情况,而成为难用的“废片”。
基于此前完成10米分辨率全球地表覆盖制图数据处理过程中积累的经验,清华大学地球系统科学系团队自主研发了时空数据融合重建的技术。
“我们构建了人工智能需要的知识库,其中包括世界首套全球全季节普适样本库和相关领域知识。库中分为训练样本库和完全独立的验证样本库。”清华大学博士生刘涵介绍,团队设计了一套适应遥感大数据的深度遥感特征学习和分类模型,利用机器学习和数据建模对人工智能系统进行了训练,使其能够“理解”或者说“推断”出缺失的图块,进而补缺。
“就好像现在一些APP身份验证时,会有一个补图的步骤,经过训练的模型,也可以大规模分析现有的卫星图片,自动补图,且做到数据与真实情况相符合。”刘涵说。
通过训练,模型可完成高性能的推理,把不完整的“拼图”重建成时空一致的图像库,建立起这一深度遥感制图模型的“超能力”,完成各种不合格“废片”的补片工作,从而生成与真实情况相匹配的遥感观测数据集。例如通过人工智能技术可识别路面是沥青、土路还是水泥路面等地表覆盖类型。
计算上云避免巨大资源消耗
“地球系统科学使用和产生的数据是极其巨大的,例如气候模拟和预测会生成时间间隔在小时级、地面分辨率是3公里的气候数据,这些数据的数据量级往往相当于数百万集高清电影的量级。”宫鹏介绍,因此需要超强算力来完成。
如果为这些数据进行数据中心建设的话,需要三四百个机柜,占地成本和时间成本耗费巨大。对这些数据集中的数据进行AI处理时,如果不在云上进行而是搬运下载后再运算,那光是用来搬运的时间也可能需要几个月。
而通过云上高性能计算,则能够把算力部署在公共数据集周边,围绕数据进行计算。据介绍,亚马逊云服务(AWS)为此次项目的完成提供了10万核左右的云上高性能计算资源。
此外,AWS上还提供一整套完善的人工智能和机器学习的套件和服务以及自动化多层堆叠集成技术,可用于对模型结构和参数进行深度调优,并进行分布式高性能推理。
“现在中学生、小学生想拿数据做点什么,从里面拉几条曲线,或者把一个区域拿出来做一些探测、变化、趋势的分析,都已经变得非常容易。”宫鹏说,对于卫星公共数据的梳理、重建,让卫星遥感图的使用门槛大大降低,如果说之前只有专业用户能从数据中获得价值,那么以后更多的普通用户也能看懂和利用这些数据。
- [ 娱乐 ] 红色党课闪耀舞台,是什么打动了台上台下的年轻人?
- [ 国内 ] 建党百年献礼《1921》开机,黄轩刘昊然为革命故事注入青春能量
- [ 国内 ] “回锅肉”被群嘲,这“锅”该谁来背?
- [ 国内 ] 钟求是:要写出一部压得住岁月的东西
- [ 国内 ] 同样是县城,差别真不小(小县城大看点①)
- [ 娱乐 ] 直播带货数据造假百万坑位费坑惨商家!
- [ 国内 ] 吴晨光:如何让账号涨粉?
- [ 国内 ] 中国代表:坚决反对借涉港、涉疆问题干涉中国内政
- [ 国内 ] 联合国安理会通过新冠疫情决议:重申以人民为中心
- [ 国内 ] 香港维护国家安全法将尊重和保障人权置于突出位置
- [ 财经 ] 易建联加冕CBA常规赛得分王广东队20连胜稳居榜首
- [ 财经 ] 外媒:欧冠抽签7月10日进行采用单场淘汰制
- [ 国内 ] 国羽开展体能大比武为党的生日献礼
- [ 国内 ] 中国美术馆线上展览献礼“七一”
- [ 国内 ] 世卫组织:中国以外新冠确诊病例达10272430例
- [ 国内 ] 美药管局批准临床试验4款新冠疫苗
- [ 国内 ] 欧俄关系改善面临障碍
- [ 国内 ] 吴桂春的“奇遇”背后是人与城市的温情互动
- [ 国内 ] 陪读两年半“狼爸”的大生意
- [ 国内 ] 今年三次深改委会议,中央强调了这些卫生领域重点
- [ 国内 ] 我国网络生态治理取得成效
- [ 国内 ] “618”购物节123万多条维权信息在“吐槽”啥
- [ 国内 ] 工业互联网助力制造业升级
- [ 国内 ] 发力新基建激发长三角新动能数据中心二期开建
- [ 国内 ] “智慧农业”助中国人端稳饭碗
- [ 国内 ] 量子计算赋能突破新冠病毒检测痛点
- [ 国内 ] 以“智”取胜湖南长沙下好高质量发展“先手棋”
- [ 娱乐 ] 直播电商成经济发展“新引擎”
- [ 国内 ] 智慧物流e键加速
- [ 国内 ] 统筹推进生态保护和经济发展
- [ 财经 ] 把长江经济带建设成黄金经济带
- [ 国内 ] 免税购物海南风景更好
- [ 国内 ] 文创需要踏实的心境
- [ 国内 ] 放水养鱼,激发市场主体活力
- [ 国内 ] 中印两军第三轮军长级会谈取得积极进展
- [ 国内 ] 中国音协新兴音乐群体轻骑兵“七一”唱响云端
- [ 国内 ] 美军调整全球兵力布势维持霸权
- [ 国内 ] 美空军“敏捷战斗部署”有难度
- [ 国内 ] “穿越”时空,“神探狄仁杰”带你探北朝
- [ 国内 ] 军地同频,拓出一片新天地
- [ 国内 ] 海拔四千一百米,野外极限训练展开
- [ 国内 ] 美寻求延长对伊武器禁运俄伊“呛声”
- [ 国内 ] 山东“军证民考”拓人才培养新路
- [ 国内 ] 浙江文具抽查不合格率28.74%派克笔、晨光文具两款产品上榜
- [ 国内 ] 上海市金山区人武部推开10余项武装工作试点建设
- [ 国内 ] 解放军驻港部队:坚决拥护香港国安法颁布实施
- [ 国内 ] 《流浪地球》等25部口碑佳作入选年度影片
- [ 国内 ] 俄战机在黑海上空拦截美军侦察机
- [ 国内 ] 美若拿到S
- [ 国内 ] 40余国在人权理事会作共同发言支持中国在涉疆问题上的立场
- [ 国内 ] 西藏军区多型火炮高原实弹射击演练画面引关注
- [ 国内 ] 苏丹主要反政府武装组织宣布单方面停火7个月
- [ 国内 ] 聚焦练兵备战矢志强军打赢
- [ 国内 ] 世卫组织:过去一个月的新增病例占确诊病例总数的60%
- [ 娱乐 ] 国际观察:“政治病毒”是新冠病毒帮凶应同步消杀
- [ 国内 ] 亚足联确认5国有意申办2027年亚洲杯
- [ 国内 ] 挖掘消费潜力还需各方协力
- [ 国内 ] 这样的爱,在感动中传递(体坛观澜)
- [ 国内 ] 5国有意申办2027年亚洲杯
- [ 国内 ] 中国棋手丁立人暂时落后
- [ 国内 ] 成都大运会13处新建场馆全部完成主体结构封顶
- [ 财经 ] 新赛季中超本月25日开赛
- [ 国内 ] 国象网络奥林匹克赛将启动
- [ 国内 ] 吕会会投出本赛季世界最好成绩
- [ 国内 ] 除了《共产党宣言》这些译作也曾指引我们前进
- [ 财经 ] 十四运开幕式场馆及游泳跳水馆完成竣工验收
- [ 国内 ] 新媒体时代的文学读写(文学聚焦)
- [ 国内 ] 新华社:中超“归来”唤燃亿心
- [ 国内 ] 今天,您“低碳”了吗?
- [ 财经 ] 梅西打进职业生涯第700球
- [ 国内 ] 首钢队大胜北控队惨败
- [ 娱乐 ] 直播带货"割韭菜"套路调查:卖惨收割粉丝低俗表演博出位
- [ 国内 ] 6月OPEC石油产量降至20年来最低超预期执行减产协议
- [ 国内 ] 奏响昂扬奋进的旋律
- [ 国内 ] 如何依法织密个人信息保护网
- [ 国内 ] 退保产业藏玄机:有团伙伪造证据逼迫保险公司全额退保
- [ 国内 ] 山东26批次食品抽检不合格盒马青岛销售猪肉样品在列
- [ 财经 ] ?麻辣财经:海南自贸港,一大拨税收优惠来了!
- [ 娱乐 ] 梵蜜琳冠名热门综艺爆火背后:产品成分存疑口碑折戟
- [ 财经 ] 五问妙可蓝多:净利润亏损一千多万,却狂砸两个亿打广告?
- [ 娱乐 ] 吴京、赵涛、黄觉成奥斯卡今年新增会员
- [ 国内 ] 重塑线下价值百货店疫中寻发展秘钥
- [ 国内 ] 遭遇史无前例冲击全球航空业忙自救
- [ 国内 ] 汪涵代言的爱钱进被调查律师:自己没用过的产品别碰
- [ 国内 ] 国家卫健委:7月1日新增确诊病例3例其中北京1例
- [ 娱乐 ] 直播带货刷量已是业内公开秘密虚假宣传屡见不鲜
- [ 国内 ] 北青报:“避险停诊”对医患双方都是保护
- [ 国内 ] 北青报:以法律责任追究遏制公职人员档案造假
- [ 财经 ] 北青报:央行试点大额现金管理意味着什么
- [ 国内 ] 北青报:“任性APP”该管管了
- [ 财经 ] 央行在河北试点大额现金管理个人存取款超10万需登记
- [ 国内 ] 文创需要踏实的心境(新语)
- [ 国内 ] 红色文物在创新传承中活起来(传承・红色基因时代风华)
- [ 国内 ] 《见证初心和使命的“十一书”》外文版上线
- [ 国内 ] 电影《1921》在上海开机
- [ 财经 ] 严惩债券违约央行再出招
- [ 财经 ] 年报逾期未发神州优车或遭资本市场抛弃
- [ 社会 ] 疫情下的新机会外卖消费驶入快车道
- [ 国内 ] 南方日报:贩卖他人朋友圈信息岂止无德
- [ 国内 ] 北京日报:国产偶像团体散场即被遗忘?