Technologies of Big Data Analytics in Distributed Computing Systems

Authors

  • Л. М. Олещенко Національний технічний університет України «КПІ імені Ігоря Сікорського»

DOI:

https://doi.org/10.18372/2073-4751.4.12821

Keywords:

Big Data, програмне забезпечення, розподілені обчислення, ІоT, Pandas, Python, статистична обробка даних, бази даних, ЦОД, Kafka, Cassandra, MapReduce, Hadoop, Spark

Abstract

The existing technologies and software tools of Big Data analysts are analyzed, their advantages anddisadvantages are highlighted. Infrastructure and statistical methods of Big Data analysis areconsidered. The distributed processing technologies are analyzed and the Big Data identification andstorage problems are highlighted. Based on the analysis, the main problems of Big Data analysts areidentified, which in the future need to be solved

Author Biography

Л. М. Олещенко, Національний технічний університет України «КПІ імені Ігоря Сікорського»

к.т.н.

References

BIG DATA: Інноваційні можливості підвищення прибутковості агробізнесу // [Електронний ресурс] – Режим доступу: http://www.agrobusiness.com.ua/ideii-i-trendy/8383-bigdata-innovatsiini-ozhlyvostipidvyschennia-prybutkovostiagrobiznesu.

html

Web Scraping Tools to Extract Online Data // [Електронний ресурс] – Режим доступу:https://www.hongkiat.com/blog/webscraping-

tools/

David Haertzen. ETL Tools // The Analytical Puzzle: Profitable Data Warehousing, Business Intelligence and Analytics. – Technics Publications, 2012. –

p.

ETL or ELT and the Use Case // [Електронний ресурс] – Режим доступу: https://www.linkedin.com/pulse/etl-elt-usecase-mich-talebzadeh-ph-d-/

What Is Apache Hadoop? // [Електронний ресурс] – Режим доступу: http://hadoop.apache.org/

Apache Kafka. А distributed streaming platform // [Електронний ресурс] – Режим доступу: https://kafka.apache.org/

Apache Cassandra // [Електронний ресурс] – Режим доступу: http://cassandra.apache.org/

Apache Spark. А fast and general engine for large-scale data processing // [Електронний ресурс] – Режим доступу: https://spark.apache.org/

Downloads

How to Cite

Олещенко, Л. М. (2017). Technologies of Big Data Analytics in Distributed Computing Systems. Problems of Informatization and Management, 4(60), 57–63. https://doi.org/10.18372/2073-4751.4.12821

Issue

Vol. 4 No. 60 (2017)

Section

Статті

License

The scientific journal adheres to the principles of Open Access and provides free, immediate, and permanent access to all published materials without financial, technical, or legal barriers for readers.

All articles are published in Open Access under the Creative Commons Attribution 4.0 International (CC BY 4.0) license.

Copyright

Authors who publish their works in the journal:

  • retain the copyright to their publications;

  • grant the journal the right of first publication of the article;

  • agree to the distribution of their materials under the CC BY 4.0 license;

  • have the right to reuse, archive, and distribute their works (including in institutional and subject repositories), provided that proper reference is made to the original publication in the journal.