Технология создания инструментов для распределенной обработки и анализа спутниковых данных.

Объем данных, поступающих от систем спутниковых наблюдений Земли, непрерывно увеличивается и делает все более актуальной задачу разработки новых подходов и технологий работы с этими данными. В Институте Космических Исследований Российской академии наук (ИКИ РАН) были разработана новая технология работы со спутниковыми данными, находящимися в распределенных сверхбольших архивах. Разработанная технология, о которой рассказывается в настоящем докладе, обеспечивает кроме выбора и просмотра различной спутниковой информации проведение ее обработки и анализа с использованием вычислительных средств центров архивации и представления данных. При этом управление такой обработкой и анализ ее результатов организован с использованием только инструментов в картографическом web-интерфейсе. В докладе описан имеющийся в таком подходе ряд существенных преимуществ над применявшимся ранее и предполагавшим сначала выбор необходимых наборов данных из архивов, создание их локальных копий у пользователя (исследователя), и только потом проведение обработки и анализа. Описывается предлагаемая архитектура построения систем распределенной обработки данных из сверхбольших архивов и ее основные возможности. Приведены примеры реализации по технологии процедур обработки, созданные на их основе инструменты обработки и анализа и практическое применение этих инструментов в различных системах дистанционного мониторинга.
Работа выполнена также при поддержке гранта РФФИ 13-07-12116 офи_м и темы РАН «Мониторинг», госрегистрация № 01.20.0.2.00164.