Войти на сайт
МЕЖДУНАРОДНЫЕ ЕЖЕГОДНЫЕ КОНФЕРЕНЦИИ
"СОВРЕМЕННЫЕ ПРОБЛЕМЫ ДИСТАНЦИОННОГО
ЗОНДИРОВАНИЯ ЗЕМЛИ ИЗ КОСМОСА"
(Физические основы, методы и технологии мониторинга окружающей среды, природных и антропогенных объектов)

Четырнадцатая Всероссийская открытая конференция "Современные проблемы дистанционного зондирования Земли из космоса"

XIV.B.409

Управление работой крупных распределенных комплексов автоматической потоковой обработки спутниковых данных

Кобец Д.А. (1), Мазуров А.А. (1), Матвеев А.М. (1), Бурцев М.А. (1), Прошин А.А. (1)
(1) Институт космических исследований РАН, Москва, Россия
В условиях современного многообразия национальных и международных систем ДЗЗ, увеличивающейся области применения данных спутникового мониторинга, роста количества потенциальных потребителей этих данных и тематических продуктов на их основе, возникает необходимость построения систем приема, обработки и хранения спутниковой информации, а также различных данных полученных с ее помощью. Объем и темпы роста количества подобной информации определяет одно из основных требований к таким системам – максимальная автоматизированность и независимость от оператора.
При этом одним из наиболее важных направлений развития подобных системы является оптимальное использование вовлеченных в нее вычислительных ресурсов, что в свою очередь особенно остро ставит задачу контроля процессов приема, обработки и хранения спутниковых данных.
Система обработки спутниковых данных используемая в ИКИ РАН имеет блочную архитектуру, так как подобная архитектура является более удобной для поддержки и дальнейшего масштабирования. Блок, проектируемый под решение определенного спектра задач, имеет детерминированный интерфейс, по средствам которого осуществляется взаимодействие с другими блоками системы. Система обработки спутниковых данных имеет в своем составе следующие уровни блоков:
1. На первом уровне блоки формирования комплектов файлов для обработки, которые являются уникальными для каждой тематической обработки. Они отслеживают полноту и комплектность необходимых данных и формируют очередь готовых заданий.
2. На втором уровне сформированные комплекты передаются в систему обработки. В такой схеме легко отслеживается максимально допустимое одновременное количество выполнений комплектов относящихся к заданию одного типа. Контроль количества комплектов переданных на обработку позволяет предотвратить загрузку всех мощностей выполнением одного типа заданий в ущерб выполнению другим.
3. Блок третьего уровня обработки представлен распределенными и значительно удаленными друг от друга кластерами вычислительных машин (обработчиков) (Dean et al., 2008). Для обеспечения все возрастающего спроса на спутниковые данные, а так же из-за увеличения тематических продуктов на их основе необходимо наращивать вычислительные мощности, что приводит к стремительному расширению парка обработчиков, поэтому задача контроля на данном уровне стоит особенно остро. Каждая вычислительная машина, задействованная в кластерах обработки, находится под управлением унифицированного комплекта программ, что позволяет легко расширять парк обрабатывающих компьютеров. Каждый обработчик может выполнять одновременно несколько комплектов одного задания которые он берет (вместе со сценариями их обработки) с серверов-диспетчеров заданий. Ход обработки каждого комплекта документируется в базе данных уровня контроля.
4. Информация о ходе процессов обработки со всех блоков системы агрегируется на уровне контроля и анализа, тем самым формируя обширную статистику о ходе этапов автоматической обработки (см. например, Кобец и др. 2015). За сутки в базы данных заносится информация о тысячах процессов, и без специальных механизмов анализа, оператор не в состоянии выявлять и устранять неполадки, чтобы обеспечивать работоспособность системы в реальном времени. Для проведения подобного анализа необходимы инструменты, которые позволяют представить информацию в удобном для оценивания критических параметров виде, например, в графической, табличной или пространственной форме. Одними из наиболее быстро развивающихся в этом направлении технологий создания подобных инструментов являются BI-технологии (Business intelligence) (Moss et al., 2003), основанные на построение хранилищ структурированной информации на основе OLAP-структур (online analytical processing) (Палкин и др., 2013).
В настоящее время разработанная технологи управления используется в различных система автоматизированной обработки спутниковых данных разрабатываемых и поддерживаемых ИКИ РАН. В том числе в центре коллективного пользования "ИКИ Мониторинг" (Лупян, Прошин и др. 2015).
Работа выполнена при поддержке РАН и ФАНО (программа Мониторинг госрегистрация № 01.20.0.2.00164).

Ключевые слова: обработка данных, параллельные вычисления, автоматическая обработка данных, обработка данных дистанционного зондирования, BI-технологии, OLAP, интерактивная отчетность, отчетные формы.
Литература:
  1. Кобец Д.А., Матвеев А.М., Мазуров А.А., Прошин А.А. Организация автоматизированной многопотоковой обработки спутниковой информации в системах дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12. № 1. С. 145-155
  2. Лупян Е.А., Балашов И.В., Бурцев М.А., Ефремов В.Ю., Кашницкий А.В., Кобец Д.А., Крашенинникова Ю.С., Мазуров А.А., Назиров Р.Р., Прошин А.А., Сычугов И.Г., Толпин В.А., Уваров И.А., Флитман Е.В. Создание технологий построения информационных систем дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12. № 5. С. 53-75.
  3. Лупян Е.А., Прошин А.А., Бурцев М.А., Балашов И.В., Барталев С.А., Ефремов В.Ю., Кашницкий А.В., Мазуров А.А., Матвеев А.М., Суднева О.А., Сычугов И.Г., Толпин В.А., Уваров И.А. Центр коллективного пользования системами архивации, обработки и анализа спутниковых данных ИКИ РАН для решения задач изучения и мониторинга окружающей среды // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12. № 5. С. 263-284.
  4. Паклин Н., Орешков В. Бизнес-аналитика. От данных к знаниям // OLAP-анализ. Питер, 2013. С. 184-192.
  5. Dean J., Ghemawat S. MapReduce: simplified data processing on large clusters //Communications of the ACM. – 2008. – Т. 51. – №. 1. – С. 107-113.
  6. Moss L.T., Atre S.. Business Intelligence Roadmap: The Complete Project Lifecycle for Decision-Support Applications. Addision-Wesley, 2003. 576 p.

Презентация доклада

Технологии и методы использования спутниковых данных в системах мониторинга

89