Публикации
Главная
О Работе Секции
Cеминары
Руководители
Библиотека
Другие Секции
ADBIS
RCDL
[ Russian ] [ English ]

Современные подходы к выполнению определяемых пользователем функций в тензорных СУБД и системах обработки тензорных данных

Андрей Еремеев, Рамон Антонио Родригес Залепинос
НИУ ВШЭ

Тензоры (многомерные массивы) используются для представления метеорологических наблюдений, данных дистанционного зондирования Земли, медицинских изображений и других практически важных данных. Управление, обработка и анализ тензоров требуют не только стандартных операций выборки и агрегирования, но и специализированных алгоритмов, которые не всегда целесообразно выражать средствами основного языка запросов. UDF (User Defined Functions) позволяют удобно задать и задействовать пользовательские алгоритмы, однако эффективность их выполнения зависит от организации хранения, характера доступа к тензорам и способа взаимодействия пользовательского кода с системой. В докладе анализируются подходы выполнения UDF, в том числе в RasDaMan, ArrayUDF, ArrayQL/Umbra, ChronosDB и openEO. Также рассматриваются Open Data Cube (ODC), gdalcubes и Google Earth Engine как средства организации и выполнения пользовательских алгоритмов над тензорными данными. Подходы сопоставляются по интерфейсам UDF, представлению входных и выходных данных, организации выполнения и возможностям оптимизации. Особое внимание уделяется связи физического разбиения тензоров с потребностями алгоритмов, обработке пространственных окрестностей и временных рядов, затратам на чтение, распаковку, преобразование и передачу данных. Отдельно внимание уделяется построению запросов и конвейеров работы с тензорами по описаниям на естественном языке на примере Earth-Agent и последующих работ: OpenEarthAgent, HiRS-Agent и Earth-Agent-Pro. Обсуждается оценка корректности выполнения таких конвейеров, в том числе с использованием Earth-Bench. Дополнительно в докладе будут сопоставлены возможности существующих решений, разобраны ограничения интеграции пользовательских алгоритмов и обозначены открытые вопросы эффективного выполнения UDF над тензорными данными.

Литература:

  1. Baumann P. et al. Array Databases: Concepts, Standards, Implementations. Journal of Big Data. 2021. Vol. 8. Article 28. https://doi.org/10.1186/s40537-020-00399-2
  2. Rodriges Zalipynis R. A. Array DBMS: Past, Present, and (Near) Future. Proceedings of the VLDB Endowment. 2021. Vol. 14, no. 12. P. 3186–3189. https://doi.org/10.14778/3476311.3476404
  3. Dong B., Wu K., Byna S., Liu J., Zhao W., Rusu F. ArrayUDF: User-Defined Scientific Data Analysis on Arrays. Proceedings of HPDC. 2017. P. 53–64. https://doi.org/10.1145/3078597.3078599
  4. Campos Escobar O. J., Misev D., Baumann P. Making an Array Database Language Server-Side Extensible. IEEE International Conference on Big Data. 2020. P. 2743–2750. https://doi.org/10.1109/BigData50022.2020.9378108
  5. Schule M. E., Gotz T., Kemper A., Neumann T. ArrayQL Integration into Code-Generating Database Systems. Proceedings of EDBT. 2022. https://doi.org/10.5441/002/edbt.2022.04
  6. Rodriges Zalipynis R. A. ChronosDB: Distributed, File Based, Geospatial Array DBMS. Proceedings of the VLDB Endowment. 2018. Vol. 11, no. 10. P. 1247–1261. https://doi.org/10.14778/3231751.3231754
  7. Schramm M. et al. The openEO API—Harmonising the Use of Earth Observation Cloud Services Using Virtual Data Cube Functionalities. Remote Sensing. 2021. Vol. 13, no. 6. Article 1125. https://doi.org/10.3390/rs13061125
  8. Xu C. et al. Analyzing Large-Scale Data Cubes with User-Defined Algorithms: A Cloud-Native Approach. International Journal of Applied Earth Observation and Geoinformation. 2022. Vol. 109. Article 102784. https://doi.org/10.1016/j.jag.2022.102784
  9. Feng P. et al. Earth-Agent: Unlocking the Full Landscape of Earth Observation with Agents. International Conference on Learning Representations (ICLR). 2026. https://arxiv.org/abs/2509.23141
  10. Schule M. E., Gotz T., Kemper A., Neumann T. ArrayQL for Linear Algebra within Umbra. Proceedings of the 33rd International Conference on Scientific and Statistical Database Management (SSDBM). 2021. P. 193–196. https://doi.org/10.1145/3468791.3468838
  11. Schleich M., Shaikhha A., Suciu D. Optimizing Tensor Programs on Flexible Storage. Proceedings of the ACM on Management of Data. 2023. Vol. 1, no. 1. Article 37. P. 1–27. https://doi.org/10.1145/3588717
  12. Papadopoulos S., Datta K., Madden S., Mattson T. The TileDB Array Data Storage Manager. Proceedings of the VLDB Endowment. 2016. Vol. 10, no. 4. P. 349–360. https://www.vldb.org/pvldb/vol10/p349-papadopoulos.pdf
  13. Mehta P. et al. Comparative Evaluation of Big-Data Systems on Scientific Image Analytics Workloads. Proceedings of the VLDB Endowment. 2017. Vol. 10, no. 11. P. 1226–1237. https://doi.org/10.14778/3137628.3137634
  14. Rodriges Zalipynis R. A. BitFun: Fast Answers to Queries with Tunable Functions in Geospatial Array DBMS. Proceedings of the VLDB Endowment. 2020. Vol. 13, no. 12. P. 2909–2912. https://doi.org/10.14778/3415478.3415506
  15. Mohr M. et al. Federated and Reusable Processing of Earth Observation Data. Scientific Data. 2025. Vol. 12. Article 194. https://doi.org/10.1038/s41597-025-04513-y
  16. Gomes V. C. F., Queiroz G. R., Ferreira K. R., Pebesma E., Barbosa C. C. F. Brazil Data Cube Workflow Engine: A Tool for Big Earth Observation Data Processing. International Journal of Digital Earth. 2024. Vol. 17, no. 1. Article 2313099. https://doi.org/10.1080/17538947.2024.2313099
  17. Hoyer S., Hamman J. J. xarray: N-D Labeled Arrays and Datasets in Python. Journal of Open Research Software. 2017. Vol. 5, no. 1. Article 10. https://doi.org/10.5334/jors.148
  18. Rocklin M. Dask: Parallel Computation with Blocked Algorithms and Task Scheduling. Proceedings of the 14th Python in Science Conference. 2015. P. 126–132. https://doi.org/10.25080/Majora-7b98e3ed-013
  19. Pedreira P., Erling O., Karanasos K., Schneider S., McKinney W., Valluri S. R., Zait M., Nadeau J. The Composable Data Management System Manifesto. Proceedings of the VLDB Endowment. 2023. Vol. 16, no. 10. P. 2679–2685. https://doi.org/10.14778/3603581.3603604
  20. Dhu T. et al. National Open Data Cubes and Their Contribution to Country-Level Development Policies and Practices. Data. 2019. Vol. 4, no. 4. Article 144. https://doi.org/10.3390/data4040144
  21. Appel M., Pebesma E. On-Demand Processing of Data Cubes from Satellite Image Collections with the gdalcubes Library. Data. 2019. Vol. 4, no. 3. Article 92. https://doi.org/10.3390/data4030092
  22. Gorelick N., Hancher M., Dixon M., Ilyushchenko S., Thau D., Moore R. Google Earth Engine: Planetary-scale geospatial analysis for everyone. Remote Sensing of Environment. 2017. Vol. 202. P. 18–27. https://doi.org/10.1016/j.rse.2017.06.031
  23. Shabbir A. et al. OpenEarthAgent: A Unified Framework for Tool-Augmented Geospatial Agents. 2026. arXiv:2602.17665. https://arxiv.org/abs/2602.17665
  24. Mu B., Wei Z., Peng M., Xu W. HiRS-Agent: A Hierarchical Multi-Agent System for Reliable Long-Horizon Remote Sensing Task Solving. 2026. arXiv:2608.30672. https://arxiv.org/abs/2608.30672
  25. Lv Z. et al. Earth-Agent-Pro: Towards Real-World Full-Chain Earth Observation with Agents. 2026. arXiv:2609.12533. https://arxiv.org/abs/2609.12533
Supported by Synthesis Group