Совет по оценке производительности обработки транзакций (TPC.org) прикладывает немало усилий, чтобы создаваемые под его эгидой эталонные тесты для СУБД шли в ногу со временем, были объективными и нефальсифицируемыми, обеспечивали практическую сравнительную ценность результатов. Поддержка актуального профиля нагрузки информационных систем в TPC-E, универсальный аналитический бенчмарк TPC-DS, применимый как к реляционным СУБД, так и к системам на основе Spark, серия экспресс-тестов для систем из категории «больших данных» — всё это шаги навстречу современности. Но несмотря на все эти труды, востребованность тестов от TPC.org неуклонно снижается с середины 2000-х, результаты бенчмарков публикуются всё реже и реже, зато обретают популярность эталонные тесты новой волны, куда более поверхностные и страдающие болезнями, преодолёнными Советом ещё в начале 1990-х, неизбежно порождая новую волну «бенчмаркингового маркетинга». Не менее интересным в связи с этими обстоятельствами видится фокус производителей машин баз данных не на результатах синтетических тестов, а на атомарных показателях производительности, таких как число операций ввода-вывода на SQL-нагрузке и пропускная способность на SQL-нагрузке.

Данный доклад — широкий обзор существовавших и существующих эталонных тестов производительности, нацеленный на то, чтобы подобрать объяснение складывающейся ситуации, и наметить наиболее перспективные направления развития эталонного тестирования для СУБД.

Слайды доклада.

Литература:

1. Raghunath Othayoth Nambiar and Meikel Poess. 2006. The making of TPC-DS. In Proceedings of the 32nd international conference on Very large data bases (VLDB '06), Umeshwar Dayal, Khu-Yong Whang, David Lomet, Gustavo Alonso, Guy Lohman, Martin Kersten, Sang K. Cha, and Young-Kuk Kim (Eds.). VLDB Endowment 1049-1058.
2. Diego R. Llanos. 2006. TPCC-UVa: an open-source TPC-C implementation for global performance measurement of computer systems. SIGMOD Rec. 35, 4 (December 2006), 6-15.
3. Meikel Poess. 2007. Controlled SQL query evolution for decision support benchmarks. In Proceedings of the 6th international workshop on Software and performance (WOSP '07). ACM, New York, NY, USA, 38-41.
4. Shimin Chen, Anastasia Ailamaki, Manos Athanassoulis, Phillip B. Gibbons, Ryan Johnson, Ippokratis Pandis, and Radu Stoica. 2011. TPC-E vs. TPC-C: characterizing the new TPC-E benchmark via an I/O comparison study. SIGMOD Rec. 39, 3 (February 2011), 5-10.
5. Raghunath Nambiar and Meikel Poess. 2013. Keeping the TPC relevant!. Proc. VLDB Endow. 6, 11 (August 2013), 1186-1187.
6. Anja Bog, Kai Sachs, and Alexander Zeier. 2011. Benchmarking database design for mixed OLTP and OLAP workloads. In Proceedings of the 2nd ACM/SPEC International Conference on Performance engineering (ICPE '11). ACM, New York, NY, USA, 417-418.
7. Pınar Tözün, Ippokratis Pandis, Cansu Kaynak, Djordje Jevdjic, and Anastasia Ailamaki. 2013. From A to E: analyzing TPC's OLTP benchmarks: the obsolete, the ubiquitous, the unexplored. In Proceedings of the 16th International Conference on Extending Database Technology (EDBT '13). ACM, New York, NY, USA, 17-28.
8. Alexander Alexandrov, Christoph Brücke, and Volker Markl. 2013. Issues in big data testing and benchmarking. In Proceedings of the Sixth International Workshop on Testing Database Systems (DBTest '13). ACM, New York, NY, USA, , Article 1 , 5 pages.
9. Jóakim v. Kistowski, Jeremy A. Arnold, Karl Huppler, Klaus-Dieter Lange, John L. Henning, and Paul Cao. 2015. How to Build a Benchmark. In Proceedings of the 6th ACM/SPEC International Conference on Performance Engineering (ICPE '15). ACM, New York, NY, USA, 333-336.
10. Jeevan Joishi and Ashish Sureka. 2015. Vishleshan: Performance Comparison and Programming Process Mining Algorithms in Graph-Oriented and Relational Database Query Languages. In Proceedings of the 19th International Database Engineering & Applications Symposium (IDEAS '15). ACM, New York, NY, USA, 192-197.
11. Amal W. Yassien and Amr F. Desouky. 2016. RDBMS, NoSQL, Hadoop: A Performance-Based Empirical Analysis. In Proceedings of the 2nd Africa and Middle East Conference on Software Engineering (AMECSE '16). ACM, New York, NY, USA, 52-59.
12. Fábio Roberto Oliveira and Luis del Val Cura. 2016. Performance Evaluation of NoSQL Multi-Model Data Stores in Polyglot Persistence Applications. In Proceedings of the 20th International Database Engineering & Applications Symposium (IDEAS '16), Evan Desai (Ed.). ACM, New York, NY, USA, 230-235.