umovestСтатистика и ЭкономикаStatistics and Economics2500-3925Plekhanov Russian University of Economics10.21686/2500-3925-2013-6-25-31umovest-330Research ArticleПРИКЛАДНАЯ ИНФОРМАТИКАМЕТРИКИ ДЛЯ ДИНАМИЧЕСКОГО МАСШТАБИРОВАНИЯ БАЗ ДАННЫХ В ОБЛАЧНЫХ СРЕДАХMETRICS FOR DYNAMIC SCALING OF DATABASE IN CLOUDSБойченкоАлександр ВикторовичBoichenkoAlexander V.ABoichenko@mesi.ruРогожинДмитрий КонстантиновичRogojinDmitry K.DRogojin@mesi.ruКорнеевДмитрий ГеннадьевичKorneevDmitry G.DKorneev@mesi.ruМосковский государственный университет экономики, статистики и информатики (МЭСИ)РоссияMoscow State University of Economics, Statistics and Informatics (MESI)Russian Federation20130908201606189195Copyright © Бойченко А.В., Рогожин Д.К., Корнеев Д.Г., 20162016Бойченко А.В., Рогожин Д.К., Корнеев Д.Г.Boichenko A.V., Rogojin D.K., Korneev D.G.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://statecon.rea.ru/jour/article/view/330

В статье проводится анализ основных методов масштабирования баз данных (репликация, шардинг) и их поддержки на уровне популярных реляционных СУБД и NoSQL решений с различными моделями данных: документо-ориентированной, ключ-значение, поколоночной, графовой. Приводится оценка возможности современных облачных решений и модель для организации динамического масштабирования в облачной инфраструктуре. Выделяются группы базовых метрик, характеризующих параметры функционирования СУБД и технических средств, а также определяются цели и группы интегральных метрик, необходимых для реализации адаптивных алгоритмов динамического масштабирования баз данных в облачной инфраструктуре.

This article analyzes the main methods of scaling databases (replication, sharding) and their support at the popular relational databases and NoSQL solutions with different data models: a document-oriented, key-value, column-oriented, graph. The article provides an assessment of the capabilities of modern cloud-based solution and gives a model for the organization of dynamic scaling in the cloud infrastructure. In the article are analyzed different types of metrics and are included the basic metrics that characterize the functioning parameters and database technology, as well as sets the goals of the integral metrics, necessary for the implementation of adaptive algorithms for dynamic scaling databases in the cloud infrastructure. This article was prepared with the support of RFBR grant № 13-07-00749.

динамическое масштабированиеоблачные вычисленияNoSQLшардингрепликацияметрики функционирования БДdynamic scalingcloud computingNoSQLshardingreplicationdatabase metricsReferencesIdziorek J. Discrete event simulation model for analysis of horizontal scaling in the cloud computing model /Proceedings of the 2010 Winter Simulation Conference. URL: http://www.informs-sim.org/wsc10papers/278.pdf (дата обращения: 07.11.2013).Idziorek J. Discrete event simulation model for analysis of horizontal scaling in the cloud computing model /Proceedings of the 2010 Winter Simulation Conference. URL: http://www.informs-sim.org/wsc10papers/278.pdf (дата обращения: 07.11.2013).Рогожин Д. Средства масштабирования в облачной инфраструктуре / III научно-практическая конференция молодых ученых “Инновационное развитие российской экономики”. 10 декабря 2012г. / Сборник научных трудов. - М.: МЭСИ, 2012. - Предм. указ.: с. 140 - 148.Рогожин Д. Средства масштабирования в облачной инфраструктуре / III научно-практическая конференция молодых ученых “Инновационное развитие российской экономики”. 10 декабря 2012г. / Сборник научных трудов. - М.: МЭСИ, 2012. - Предм. указ.: с. 140 - 148.Дэн Голотюк. Шардинг, партиционирование, репликация - зачем и когда? / URL: http://highload.com.ua/index.php/2009/05/06/шардинг-партиционирование-репликац/ (дата обращения: 07.11.2013)Дэн Голотюк. Шардинг, партиционирование, репликация - зачем и когда? / URL: http://highload.com.ua/index.php/2009/05/06/шардинг-партиционирование-репликац/ (дата обращения: 07.11.2013)Burckhardt S., Leijen D. Eventually Consistent Transactions/ URL: http://research.microsoft.com/pubs/158085/ecr-esop2012.pdf / (дата обращения: 07.11.2013)Burckhardt S., Leijen D. Eventually Consistent Transactions/ URL: http://research.microsoft.com/pubs/158085/ecr-esop2012.pdf / (дата обращения: 07.11.2013)Косьмина Я.О. Репликация. Master-slave, кластер и прочее. / URL: http://freehabr.ru/blog/database/1119.html (дата обращения: 07.11.2013).Косьмина Я.О. Репликация. Master-slave, кластер и прочее. / URL: http://freehabr.ru/blog/database/1119.html (дата обращения: 07.11.2013).Oracle® Database VLDB and Partitioning Guide. Part2: Partitioning Concepts / URL: http://docs.oracle.com/cd/B28359_01/server.111/b32024/partition.htm (дата обращения: 07.11.2013)Oracle® Database VLDB and Partitioning Guide. Part2: Partitioning Concepts / URL: http://docs.oracle.com/cd/B28359_01/server.111/b32024/partition.htm (дата обращения: 07.11.2013)SQL Server 2012. Create Partitioned Tables and Indexes/ URL: http://technet.microsoft.com/en-us/library/ms188730.aspx (дата обращения: 07.11.2013)SQL Server 2012. Create Partitioned Tables and Indexes/ URL: http://technet.microsoft.com/en-us/library/ms188730.aspx (дата обращения: 07.11.2013)Ломакин А. Apache Cassandra, part 1 - principles, data model. Презентация Exigen Services 28 июня 2011. / URL: http://www.slideshare.net/lomakin.andrey/apache-cassandra-part-1-principles-data-model (дата обращения: 07.11.2013)Ломакин А. Apache Cassandra, part 1 - principles, data model. Презентация Exigen Services 28 июня 2011. / URL: http://www.slideshare.net/lomakin.andrey/apache-cassandra-part-1-principles-data-model (дата обращения: 07.11.2013)Распределённая хеш-таблица. Материал из Википедии - свободной энциклопедии / URL: http://ru.wikipedia.org/wiki/Распределённая_хеш-таблица (дата обращения: 07.11.2013)Распределённая хеш-таблица. Материал из Википедии - свободной энциклопедии / URL: http://ru.wikipedia.org/wiki/Распределённая_хеш-таблица (дата обращения: 07.11.2013)Tsoumakos D., Konstantinou I., Boumpouka C. On the Elasticity of NoSQL Databases over Cloud Management Platforms. / Proceeding CIKM ‘11 Proceedings of the 20th ACM international conference on Information and knowledge management, Pages 2385-2388, ISBN: 978-1-4503-0717-8, / URL: http://www.cslab.ntua.gr/~ikons/elastic_nosql.pdf (дата обращения: 07.11.2013)Tsoumakos D., Konstantinou I., Boumpouka C. On the Elasticity of NoSQL Databases over Cloud Management Platforms. / Proceeding CIKM ‘11 Proceedings of the 20th ACM international conference on Information and knowledge management, Pages 2385-2388, ISBN: 978-1-4503-0717-8, / URL: http://www.cslab.ntua.gr/~ikons/elastic_nosql.pdf (дата обращения: 07.11.2013)CouchDB. The Definitive Guide. Clustering. / URL: http://guide.couchdb.org/draft/clustering.html (дата обращения: 07.11.2013)CouchDB. The Definitive Guide. Clustering. / URL: http://guide.couchdb.org/draft/clustering.html (дата обращения: 07.11.2013)Sharding and MongoDB. MongoDB Documentation Project. November 01, 2013/ URL: http://docs.mongodb.org/v2.4/MongoDB-sharding-guide.pdf (дата обращения: 07.11.2013)Sharding and MongoDB. MongoDB Documentation Project. November 01, 2013/ URL: http://docs.mongodb.org/v2.4/MongoDB-sharding-guide.pdf (дата обращения: 07.11.2013)MSDN. Scaling Out SQL Server. / Microsoft Corporation, April 2012. / URL: http://msdn.microsoft.com/en-us/library/aa479364.aspx (дата обращения: 07.11.2013)MSDN. Scaling Out SQL Server. / Microsoft Corporation, April 2012. / URL: http://msdn.microsoft.com/en-us/library/aa479364.aspx (дата обращения: 07.11.2013)Васильев А.Ю. Работа с Postgresql: настройка, масштабирование, - Справочное пособие, 2010. / URL: http://postgresql.ru.net/pgtune/postgresql.html#SECTION00600000000000000000 (дата обращения: 07.11.2013) / Глава 5. Шардинг.Васильев А.Ю. Работа с Postgresql: настройка, масштабирование, - Справочное пособие, 2010. / URL: http://postgresql.ru.net/pgtune/postgresql.html#SECTION00600000000000000000 (дата обращения: 07.11.2013) / Глава 5. Шардинг.Partitioning: how to split data among multiple Redis instances./ URL: http://redis.io/topics/partitioning (дата обращения: 07.11.2013)Partitioning: how to split data among multiple Redis instances./ URL: http://redis.io/topics/partitioning (дата обращения: 07.11.2013)Oracle Real Application Clusters (RAC). An Oracle White Paper, June 2013 / URL: http://www.oracle.com/technetwork/products/clustering/rac-wp-12c-1896129.pdf?ssSourceSiteId=ocomen (дата обращения: 07.11.2013)Oracle Real Application Clusters (RAC). An Oracle White Paper, June 2013 / URL: http://www.oracle.com/technetwork/products/clustering/rac-wp-12c-1896129.pdf?ssSourceSiteId=ocomen (дата обращения: 07.11.2013)Seth Gilbert, Nancy Lynch. Brewer’s Conjecture and the Feasibility of Consistent, Available, Partition-Tolerant Web Services. - Laboratory for Computer Science, Massachusetts Institute of Technology, Cambridge, MA 02139. URL: http://people.csail.mit.edu/sethg/pubs/BrewersConjecture-SigAct.pdf (дата обращения: 07.11.2013)Seth Gilbert, Nancy Lynch. Brewer’s Conjecture and the Feasibility of Consistent, Available, Partition-Tolerant Web Services. - Laboratory for Computer Science, Massachusetts Institute of Technology, Cambridge, MA 02139. URL: http://people.csail.mit.edu/sethg/pubs/BrewersConjecture-SigAct.pdf (дата обращения: 07.11.2013)How To Use Cache Sharding: Scale Out Neo4j / FromDev: A Technology Blog About Programming, Web Development, Tips, Tutorials and Books Recommendation for Developers / 14.10.2013 / URL: http://www.fromdev.com/2013/10/neo4j-cache-sharding-scale-out.html (дата обращения: 07.11.2013)How To Use Cache Sharding: Scale Out Neo4j / FromDev: A Technology Blog About Programming, Web Development, Tips, Tutorials and Books Recommendation for Developers / 14.10.2013 / URL: http://www.fromdev.com/2013/10/neo4j-cache-sharding-scale-out.html (дата обращения: 07.11.2013)Guide to Scaling Web Databases with MySQL Cluster. Accelerating Innovation on the Web and in the Cloud, A MySQL® White Paper, June 2013 / URL: http://www.mysql.com/why-mysql/white-papers/guide-to-scaling-web-databases-with-mysql-cluster/ (дата обращения: 07.11.2013)Guide to Scaling Web Databases with MySQL Cluster. Accelerating Innovation on the Web and in the Cloud, A MySQL® White Paper, June 2013 / URL: http://www.mysql.com/why-mysql/white-papers/guide-to-scaling-web-databases-with-mysql-cluster/ (дата обращения: 07.11.2013)Euca2ools. Сайт проекта Eucalyptus / URL: http://www.eucalyptus.com/download/euca2ools (дата обращения: 07.11.2013)Euca2ools. Сайт проекта Eucalyptus / URL: http://www.eucalyptus.com/download/euca2ools (дата обращения: 07.11.2013)Oracle® Enterprise Manager. System Monitoring Plug-in Metric Reference Manual for Non-Oracle Database Management, Release 12 (12.0), B28748-11, November 2010. / URL: http://docs.oracle.com/cd/E11857_01/em.111/b28748.pdf (дата обращения: 07.11.2013)Oracle® Enterprise Manager. System Monitoring Plug-in Metric Reference Manual for Non-Oracle Database Management, Release 12 (12.0), B28748-11, November 2010. / URL: http://docs.oracle.com/cd/E11857_01/em.111/b28748.pdf (дата обращения: 07.11.2013)Mikoomi. Developing useful monitoring plugins for Zabbix. Chapter 3: MongoDB Plugin. May 5, 2011. / URL: https://code.google.com/p/mikoomi/wiki/03 (дата обращения: 07.11.2013)Mikoomi. Developing useful monitoring plugins for Zabbix. Chapter 3: MongoDB Plugin. May 5, 2011. / URL: https://code.google.com/p/mikoomi/wiki/03 (дата обращения: 07.11.2013)Idziorek J. Discrete event simulation model for analysis of horizontal scaling in the cloud computing model / Proceedings of the 2010 Winter Simulation Conference. URL: http://www.informs-sim.org/wsc10papers/278.pdf (date of request: 07.11.2013).Idziorek J. Discrete event simulation model for analysis of horizontal scaling in the cloud computing model / Proceedings of the 2010 Winter Simulation Conference. URL: http://www.informs-sim.org/wsc10papers/278.pdf (date of request: 07.11.2013).Rogogin D. Solution of database scaling in cloud infrastructure / III Scientific and Practical Conference of Young Scientists «Innovative development of Russian economy.» 10 December 2012. / Moscow: MESI, 2012. - p. 140 - 148.Rogogin D. Solution of database scaling in cloud infrastructure / III Scientific and Practical Conference of Young Scientists «Innovative development of Russian economy.» 10 December 2012. / Moscow: MESI, 2012. - p. 140 - 148.Den Golotyuk. Sharding, Partitioning, Replication - Why and When? / URL: http://highload.com.ua/index.php/2009/05/06/ Sharding-Partitioning-Replication / (date of request: 07.11.2013)Den Golotyuk. Sharding, Partitioning, Replication - Why and When? / URL: http://highload.com.ua/index.php/2009/05/06/ Sharding-Partitioning-Replication / (date of request: 07.11.2013)Burckhardt S., Leijen D. Eventually Consistent Transactions/ URL: http://research.microsoft.com/pubs/158085/ecr-esop2012.pdf / (date of request: 07.11.2013)Burckhardt S., Leijen D. Eventually Consistent Transactions/ URL: http://research.microsoft.com/pubs/158085/ecr-esop2012.pdf / (date of request: 07.11.2013)Kosmina Y. Replication. Master-slave, cluster and so on. / URL: http://freehabr.ru/blog/database/1119.html (date of request: 07.11.2013).Kosmina Y. Replication. Master-slave, cluster and so on. / URL: http://freehabr.ru/blog/database/1119.html (date of request: 07.11.2013).Oracle® Database VLDB and Partitioning Guide. Part2: Partitioning Concepts / URL: http://docs.oracle.com/cd/B28359_01/server.111/b32024/partition.htm (date of request: 07.11.2013)Oracle® Database VLDB and Partitioning Guide. Part2: Partitioning Concepts / URL: http://docs.oracle.com/cd/B28359_01/server.111/b32024/partition.htm (date of request: 07.11.2013)SQL Server 2012. Create Partitioned Tables and Indexes/ URL: http://technet.microsoft.com/en-us/library/ms188730.aspx (date of request: 07.11.2013)SQL Server 2012. Create Partitioned Tables and Indexes/ URL: http://technet.microsoft.com/en-us/library/ms188730.aspx (date of request: 07.11.2013)Lomakin А. Apache Cassandra, part 1 - principles, data model. Presentation Exigen Services 28/06/ 2011. / URL: http://www.slideshare.net/lomakin.andrey/apache-cassandra-part-1-principles-data-model (date of request: 07.11.2013)Lomakin А. Apache Cassandra, part 1 - principles, data model. Presentation Exigen Services 28/06/ 2011. / URL: http://www.slideshare.net/lomakin.andrey/apache-cassandra-part-1-principles-data-model (date of request: 07.11.2013)Distributed hash table. Wikipedia / URL: http://ru.wikipedia.org/wiki/Distributedhashtable. (date of request: 07.11.2013)Distributed hash table. Wikipedia / URL: http://ru.wikipedia.org/wiki/Distributedhashtable. (date of request: 07.11.2013)Tsoumakos D., Konstantinou I., Boumpouka C. On the Elasticity of NoSQL Databases over Cloud Management Platforms. / Proceeding CIKM ‘11 Proceedings of the 20th ACM international conference on Information and knowledge management, Pages 2385-2388, ISBN: 978-1-4503-0717-8, / URL: http://www.cslab.ntua.gr/~ikons/elastic_nosql.pdf (date of request: 07.11.2013)Tsoumakos D., Konstantinou I., Boumpouka C. On the Elasticity of NoSQL Databases over Cloud Management Platforms. / Proceeding CIKM ‘11 Proceedings of the 20th ACM international conference on Information and knowledge management, Pages 2385-2388, ISBN: 978-1-4503-0717-8, / URL: http://www.cslab.ntua.gr/~ikons/elastic_nosql.pdf (date of request: 07.11.2013)CouchDB. The Definitive Guide. Clustering. / URL: http://guide.couchdb.org/draft/clustering.html (date of request: 07.11.2013)CouchDB. The Definitive Guide. Clustering. / URL: http://guide.couchdb.org/draft/clustering.html (date of request: 07.11.2013)Sharding and MongoDB. MongoDB Documentation Project. November 01, 2013/ URL: http://docs.mongodb.org/v2.4/MongoDB-sharding-guide.pdf (date of request: 07.11.2013)Sharding and MongoDB. MongoDB Documentation Project. November 01, 2013/ URL: http://docs.mongodb.org/v2.4/MongoDB-sharding-guide.pdf (date of request: 07.11.2013)MSDN. Scaling Out SQL Server. / Microsoft Corporation, April 2012. / URL: http://msdn.microsoft.com/en-us/library/aa479364.aspx (date of request: 07.11.2013)MSDN. Scaling Out SQL Server. / Microsoft Corporation, April 2012. / URL: http://msdn.microsoft.com/en-us/library/aa479364.aspx (date of request: 07.11.2013)Vasiliev A.U. Working in Postgresql: adjustment, scaling/ Reference manual, 2010. / URL: http://postgresql.ru.net/pgtune/postgresql.html#SECTION00600000000000000000 (date of request: 07.11.2013) / Part 5. Sharding.Vasiliev A.U. Working in Postgresql: adjustment, scaling/ Reference manual, 2010. / URL: http://postgresql.ru.net/pgtune/postgresql.html#SECTION00600000000000000000 (date of request: 07.11.2013) / Part 5. Sharding.Partitioning: how to split data among multiple Redis instances./ URL: http://redis.io/topics/partitioning (date request: 07.11.2013)Partitioning: how to split data among multiple Redis instances./ URL: http://redis.io/topics/partitioning (date request: 07.11.2013)Oracle Real Application Clusters (RAC). An Oracle White Paper, June 2013 / URL: http://www.oracle.com/technetwork/products/clustering/rac-wp-12c-1896129.pdf?ssSourceSiteId=ocomen (date of request: 07.11.2013)Oracle Real Application Clusters (RAC). An Oracle White Paper, June 2013 / URL: http://www.oracle.com/technetwork/products/clustering/rac-wp-12c-1896129.pdf?ssSourceSiteId=ocomen (date of request: 07.11.2013)Seth Gilbert, Nancy Lynch. Brewer’s Conjecture and the Feasibility of Consistent, Available, Partition-Tolerant Web Services. - Laboratory for Computer Science, Massachusetts Institute of Technology, Cambridge, MA 02139. URL: http://people.csail.mit.edu/sethg/pubs/BrewersConjecture-SigAct.pdf (date of request: 07.11.2013)Seth Gilbert, Nancy Lynch. Brewer’s Conjecture and the Feasibility of Consistent, Available, Partition-Tolerant Web Services. - Laboratory for Computer Science, Massachusetts Institute of Technology, Cambridge, MA 02139. URL: http://people.csail.mit.edu/sethg/pubs/BrewersConjecture-SigAct.pdf (date of request: 07.11.2013)How To Use Cache Sharding: Scale Out Neo4j / FromDev: A Technology Blog About Programming, Web Development, Tips, Tutorials and Books Recommendation for Developers / 14.10.2013 / URL: http://www.fromdev.com/2013/10/neo4j-cache-sharding-scale-out.html (date of request: 07.11.2013)How To Use Cache Sharding: Scale Out Neo4j / FromDev: A Technology Blog About Programming, Web Development, Tips, Tutorials and Books Recommendation for Developers / 14.10.2013 / URL: http://www.fromdev.com/2013/10/neo4j-cache-sharding-scale-out.html (date of request: 07.11.2013)Guide to Scaling Web Databases with MySQL Cluster. Accelerating Innovation on the Web and in the Cloud, A MySQL® White Paper, June 2013 / URL: http://www.mysql.com/why-mysql/white-papers/guide-to-scaling-web-databases-with-mysql-cluster/ (date of request: 07.11.2013)Guide to Scaling Web Databases with MySQL Cluster. Accelerating Innovation on the Web and in the Cloud, A MySQL® White Paper, June 2013 / URL: http://www.mysql.com/why-mysql/white-papers/guide-to-scaling-web-databases-with-mysql-cluster/ (date of request: 07.11.2013)Euca2ools. Сайт проекта Eucalyptus / URL: http://www.eucalyptus.com/download/euca2ools (date of request: 07.11.2013)Euca2ools. Сайт проекта Eucalyptus / URL: http://www.eucalyptus.com/download/euca2ools (date of request: 07.11.2013)Oracle® Enterprise Manager. System Monitoring Plug-in Metric Reference Manual for Non-Oracle Database Management, Release 12 (12.0), B28748-11, November 2010. / URL: http://docs.oracle.com/cd/E11857_01/em.111/b28748.pdf (date of request: 07.11.2013)Oracle® Enterprise Manager. System Monitoring Plug-in Metric Reference Manual for Non-Oracle Database Management, Release 12 (12.0), B28748-11, November 2010. / URL: http://docs.oracle.com/cd/E11857_01/em.111/b28748.pdf (date of request: 07.11.2013)Mikoomi. Developing useful monitoring plugins for Zabbix. Chapter 3: MongoDB Plugin. May 5, 2011. / URL: https://code.google.com/p/mikoomi/wiki/03 (date of request: 07.11.2013)Mikoomi. Developing useful monitoring plugins for Zabbix. Chapter 3: MongoDB Plugin. May 5, 2011. / URL: https://code.google.com/p/mikoomi/wiki/03 (date of request: 07.11.2013)

The authors declare that there are no conflicts of interest present.