 |
|
Related Communities:
|
 |
|
 |
Гибридная архитектура АстроГрида и Посредников
Краткое описание:
В рамках проекта РФФИ в лаборатории 23 ИПИ РАН разработана объединенная архитектура посредников и системы АстроГрид.
Посредники представляют собой CEA приложения в системе
АстроГрид. Запросы к посреднику, возможно писать как на родном для него языке
Syfs, так и на языке ADQL,
естественном для системы АстроГрид. В последнем случае, системы видит посредник
как DSA источник. Также были
разработаны адаптер к DSA источникам, для подключения
DSA источников к посреднику, и адаптер к реестрам
АстроГрид, для осуществления поиска по метаданным.
В качестве примера использования гибридной архитектуры, была решена задача
поиска далеких галактик, решаемая ранее средствами системы АстроГрид, без
использования посредников (задача поиска далеких галактик).
Слабой стороной использования только системы АстроГрид было использование
астрономических источников. Во-первых, добавление новых источников для задачи,
крайне накладно в том примере. Во-вторых, из-за того что
XMatch выполняется сторонним приложением, требуется передача данных по
сети, а в случае SDSS, объем этих данных крайне велик,
поэтому возможно выполнение только в узких областях, чтобы объем данных из
SDSS не был критичен.
Все эти проблемы могут быть решены, в случае использования посредников, в
качестве замены первых двух шагов, в которых осуществляется поиск кандидатов в
далекие галактики. Извлечение изображений, как и ранее осуществляется средствами
Aladin в АстроГрид.
Схема посредника для решения задачи поиска далеких галактик
Приложения Astrogrid, используемые для решения задачи
поиска далеких галактик с помощью посредников:
- MediatorCEA (ivo://ipi.ac.ru/executeSyfsQuery)
Приложение выполняет запрос, написанный на языке Syfs.
На данный момент, посредник зарегистрированный в реестре, предоставляет
интегрированный доступ к трем астрономическим каталогам: RC
Catalog, FIRST, SDSS.
- GetImage (ivo://ipi.ac.ru/submitAladinScript)
Приложение выполняет скрипт, написанный на скриптовом языке программы
Aladin. Скрипт параметризован координатами #Ra, #Dec.
Схемы источников зарегистрированные в посреднике
Пример запроса к посреднику на языке Syfs,
используемом для решения задачи поиска далеких галактик:
{{ r(x/[ra, de, name, name1, ra1, de1])
:-radioCatalogData(y/[name, ra: spatialCoord.ra, de: spatialCoord.de])
& opticalCatalogData(x/[name1: name, ra1: spatialCoord.ra, de1: spatialCoord.de, colorIndexURG, deltaColorIndexURG])
& matchCatalog(y, x, 45, 45, b) & b = true
& ra >= 120.0 & ra <= 255.0 & de >= 4.39 & de <= 5.61
& ra1 >= 120.0 & ra1 <= 255.0 & de1 >= 4.39 & de1 <= 5.61
& colorIndexURG > deltaColorIndexURG }}
описание языка запросов посредника, дано здесь (Приложение F)
Пример скрипта Aladin, используемом для решения
задачи поиска далеких галактик:
reset;
grid;
get aladin(DSS2,F) #Ra #Dec 5';
sync;
get DSS.ESO(DSS1,14.1,14.1) #Ra #Dec 5';
sync;
get SDSSDR3 #Ra #Dec 5';
sync;
get NVSS(0.2,15.0,Stokes I,Sine) #Ra #Dec 5';
sync;
contour 4;
get Vizier(VIII/65/nvss) #Ra #Dec 5';
sync;
get FIRST(10) #Ra #Dec 5';
sync;
contour 4;
get Vizier(VIII/71/first) #Ra #Dec 5';
sync;
get Vizier(VIII/42/txs) #Ra #Dec 5';
sync;
get Vizier(J/A+AS/87/1/table1) #Ra #Dec 5';
sync;
get SDSSDR3cat #Ra #Dec 1';
sync;
get VizieR(2mass) #Ra #Dec 1';
sync;
get VizieR(USNOB) #Ra #Dec 1';
sync;
show 1;
hide NVSS FIRST;
zoom 4x;
Поток работа для задачи поиска далеких галактик с помощью посредников
Поток работа состоит из 3х шагов:
- Работа посредника - нахождение кандидатов в далекие галактики
- Манипуляции с данными, чтобы сделать их пригодными к последнему шагу (workflow script)
- Получение изображения для каждого кандидата в далекие галактики в цикле (GetImage)
Пример изображения, для одного из кандидатов в далекие галактики:
Производительность:
Для оценки производительности работы посредника в гибридной архитектуре были сделаны 10 тестовых запусков первого шага. Среднее время выполнения первого шага в АстроГриде составляет 26 секунд, минимальное время 19 секунд, максимальное время 42 секунды. Подобная разница времени выполнения наиболее вероятно связана с географией расположеняи источников, подключаемых к посреднику. Радио каталог RC представляет собой DSA источник системы АстроГрид, физически располагающийся на установке АстроГрид в ИПИ РАН. Радио каталог First представляет собой базу данных, физически располагающуюся на сервере в ИПИ РАН. Оптический каталог SDSS подключаемый к посреднику располагается в США. Поэтому существенную часть времени выполнения занимает передача данных по сети, в частности, в соотвествии с планом выполнения, данные из радио источников загружаются в SDSS, где выполняется CrossMatch, и далее результат загружается в MySpace, который физически располагается на установке системы АстроГрид в ИПИ РАН. Таким образом, данные в начале передаются в США из Москвы, а затем в Москву из США, с чем и связаны подобные показатели времени выполнения.
|
|
