Аналитика в реальном времени - относительно новая отрасль аналитики. Распространенное «определение» аналитики в реальном времени - анализировать данные как можно быстрее на основе самых последних данных. Это определяет суть фундаментальных потребностей пользователей, но никоим образом не является конкретным требованием к соответствующим программным системам из-за нечеткости «определения». В результате разные производители аналитических систем управления данными и исследователи относят к системам аналитики в реальном времени чрезвычайно разные системы, которые различаются по архитектуре, функциональности и даже по времени. Цель доклада - проанализировать различные подходы к предоставлению аналитики в реальном времени, их преимущества и недостатки, а также компромиссы, на которые неизбежно приходится идти как разработчикам систем, так и их пользователям.

Слайды доклада

Видео доклада.

Литература:

1. Special Issue on Data Stream Processing. IEEE Bulletin of the Technical Committee on Data Engineering, vol. 26, no. 1, 2003.
2. Special Issue on Next-Generation Stream Processing. IEEE Bulletin of the Technical Committee on Data Engineering, vol. 38, no. 4, 2013.
3. Sergey Melnik, Andrey Gubarev et al. Dremel: Interactive Analysis of Web-Scale Datasets. Proceedings of the VLDB Endowment, vol. 3, no. 1, 2010, pp. 330-339.
4. Data warehouse system architecture. Available at https://docs.aws.amazon.com/redshift/latest/dg/c_high_level_system_architecture.html, accessed 07/17/2021.
5. Azure Synapse SQL architecture. Available at https://docs.microsoft.com/en-us/azure/synapse-analytics/sql/overview-architecture, accessed 07/18/2021.
6. Benoit Dageville, Thierry Cruanes et al. The Snowflake Elastic Data Warehouse. Proceedings of the 2016 International Conference on Management of Data, 2016, pp. 215-226.
7. Franz Faerber, Alfons Kemper et al. Main Memory Database Systems. Foundations and Trends in Databases, vol. 8, no. 1-2, 2016, pp. 1–130.
8. Sergey D. Kuznetsov, Pavel E. Velikhov, and Qiang Fu. Real-time analytics, hybrid transactional/analytical processing, in-memory data management, and non-volatile memory. Proceedings of the Ivannikov ISPRAS Open Conference, 2020, pp. 78-90.
9. Sergey D. Kuznetsov, Pavel E. Velikhov, Qiang Fu. Real-time analytics: Benefits, Limitations, and Tradeoffs. Proceedings of the International Conference on Actual Problems of Systems and Software Engineering (APSSE), 2021, 20 p. (in print).