https://oldena.lpnu.ua/handle/ntb/42969
Title: | Аналіз алгоритму Apriori для структурованих та неструктурованих даних |
Other Titles: | The analysis of apriori algorithm for structured and unstructured data |
Authors: | Левус, Є. В. Нечипір, Н. І. Полиняк, Ю. В. |
Affiliation: | Національний університет “Львівська політехніка” |
Bibliographic description (Ukraine): | Левус Є. В. Аналіз алгоритму Apriori для структурованих та неструктурованих даних / Є. В. Левус, Н. І. Нечипір, Ю. В. Полиняк // Вісник Національного університету «Львівська політехніка». Серія: Інформаційні системи та мережі. — Львів : Видавництво Львівської політехніки, 2017. — № 872. — С. 62–68. |
Bibliographic description (International): | Levus Ye. V. The analysis of apriori algorithm for structured and unstructured data / Ye. V. Levus, N. I. Nechypir, Yu. V. Polyniak // Visnyk Natsionalnoho universytetu "Lvivska politekhnika". Serie: Informatsiini systemy ta merezhi. — Lviv : Vydavnytstvo Lvivskoi politekhniky, 2017. — No 872. — P. 62–68. |
Is part of: | Вісник Національного університету «Львівська політехніка». Серія: Інформаційні системи та мережі, 872, 2017 |
Journal/Collection: | Вісник Національного університету «Львівська політехніка». Серія: Інформаційні системи та мережі |
Issue: | 872 |
Issue Date: | 28-Mar-2017 |
Publisher: | Видавництво Львівської політехніки |
Place of the edition/event: | Львів |
UDC: | 004.65 004.9 |
Keywords: | алгоритм Apriori структуровані дані неструктуровані дані асоціативне правило обсяг даних Apriori algorithm structured data unstructured data associative rule data volume |
Number of pages: | 7 |
Page range: | 62-68 |
Start page: | 62 |
End page: | 68 |
Abstract: | Проаналізовано алгоритм Apriori як метод пошуку асоціативних правил у
структурованих та неструктурованих даних з погляду кількості знайдених правил,
швидкодії та потреб в обчислювальних ресурсах. Неструктуровані дані тісно пов’язані з
терміном Big Data. Актуальним завданням інженерії даних є виявлення ефективних
засобів опрацювання неструктурованої інформації. Для проведення обчислювальних
експериментів розроблено програмну систему, що опрацьовує дані алгоритмом Apriori,
предметною областю якої вибрано торгівлю. Така система може бути прототипом
реальної рекомендаційної системи. Програмне рішення розроблено на стеку технологій
Hadoop. Apriori algorithm is analyzed as a search method of associative rules in structured and unstructured data in terms of the number of discovered rules, performance and requirements for computing resources. Unstructured data are closely related to the term ’Big Data’. One of the main tasks of data engineering is the detection of unstructured information processing means. There has been developed a software system to perform computational experiments that processes data using Apriori algorithm, which subject area is trade. Such system can be a prototype for real recommendation system. The software solution is developed on stack of Hadoop technology. |
URI: | https://ena.lpnu.ua/handle/ntb/42969 |
Copyright owner: | © Національний університет „Львівська політехніка“, 2017 © Левус Є. В., Нечипір Н. І., ПолинякЮ. В., 2017 |
URL for reference material: | https://www.oracle.com/engineered-systems/big-data-appliance/index.html http://www.teradata.com/products/Aster_MapReduce_Appliance http://www.emc.com/campaign/global/greenplumdca/index.htm https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html https://www |
References (Ukraine): | 1. Montgomery Karen. Big Data Now: 2014 Edition. O’Reilly Media. – Junuary, 2015. – 165 p. 2. Майер-Шенбергер Виктор, Кукьер Кеннет. Большие данные. Революция, которая изменит то, как мы живём, работаем и мыслим = Big Data. A Revolution That Will Transform How We Live, Work, and Think / пер. с англ. И. Гайдюк. – М.: Манн, Иванов, Фербер, 2014. – 240 с. 3. Data Science and Big Data Analytics: Discovering, Analyzing, Visualizing and Presenting Data. John Wiley & Sons. 2014-12-19.300p. 4. Big Data Applience [Електронний ресурс] // Oracle Big Data: сайт. – Режим доступу https://www.oracle.com/engineered-systems/big-data-appliance/index.html. 5. Almasi, G.S. and A. Gottlieb (2009). Highly Parallel Computing. Benjamin // Cummings publishers, Redwood City, CA. – 235 с. 6. Шаховська Н. Б. Організація великих даних у розподіленому середовищі / Н. Б. Шаховська, Ю. Я. Болюбаш, О. М. Верес// Наукові праці ДонНТУ. Серія: обчислювальна техніка та автоматизація. – 2014. – № 2(27). – С. 147–155. 7. Павич Н. Я. Оцінювання ефективності опрацювання даних великих обсягів технологіями Spark та Hive / Н. Я. Павич, О. П. Крохмальна // Вісник Нац. ун-ту “Львів. політехніка” “Комп’ютерні системи та мережі”. – 2015. – № 830. – С. 128–135. 8. Сєдушев О. Ю. Методи видобування даних з баз нечітких знань / О. Ю. Сєдушев, Є. В. Буров // Вісник Нац. ун-ту “Львів. політехніка” “Інформаційні системи та мережі”. – 2014. – № 783. – С. 193–203. 9. Mapreduce Appliance. [Електронний ресурс] // MapReduce: сайт. – Режим доступу http://www.teradata.com/products/Aster_MapReduce_Appliance. 10. GreenPlum. [Електронний ресурс]//: сайт. – Режим доступу http://www.emc.com/campaign/global/greenplumdca/index.htm. 11. Zhu Yixia, Yao Liwen, Huang Shuiyuan, Huang Longjun. A association rules mining algorithm based on matrix and trees[J]. Computer science. 2006, 33(7):196-198. 12. Tong Qiang, Zhou Yuanchun, Wu Kaichao, Yan Baoping. A quantitative association rules mining algorithm[J]. Computer engineering. 2007. 13. Agrawal R., Imielinski T., Swami A. Mining association rules between sets of items in large database, In Proc. of the 1993 ACM-SIGMOD Int’l Conf. on Management of Data, 1993: 207-216. 14. Agrawal R. and Srikant, R. Fast algorithms for mining association rules. In Proc.20th Int. Conf. Very Large Data Bases, Santiago, Chile, 1994. 487–499. 15. Purdom P. W., Guch D. V., Groth D. P. Avarage case performance of the apriori algorithm – SIAM Journal on Computing, 33(5): 1223–1260, 2004. 16. Mohammed J. Zaki. Scalable algorithms for association mining – IEEE Transactions on Knowledge and Data Engineering, 12(3):373–390, 2000. 17. Brin S., Rajeev Motwani, Ullman J., Tsur S. Dynamic itemset couting and implication rules for market basket data// Proc. ACM SIGMOD Intern. Conference on Management of Data, 255–264 p., USA, 1997. 18. Apache Hadoop. [Електронний ресурс]// Big Data:сайт. – Режим доступу https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html 19. Harris, Dereck Intel jettisons its Hadoop distro and puts millions behind Cloudera (27 March 2014). 20. Уайт, Том Hadoop. Подробное руководство= Hadoop: The Definitive Guide. – СПб., 2013. – 672 с. 21. Hadoop File System. [Електронний ресурс]// hadoop-distributed-file-system: сайт. – Режим доступу https://www. safaribooksonline.com/blog/2013/02/13/the-hadoop-distributed-file-system. 22. White T. Hadoop: The Definitive Guide, 4th Edition. O’Reilly Media. – March, 2015 – 756 p. 23. Нечипір Н. І. Опрацювання великих обсягів неструктурованих та структурованих даних алгоритмом Аpriori / Н. І. Нечипір, Є. В. Левус // Математичне та програмне забезпечення інтелектуальних систем: матер. XIIІ Міжнар. наук.-практ. конф. – Дніпропетровськ: Вид-во Дніпропетр. Нац. ун-ту ім. Олеся Гончара, 2015. – С. 34–36. |
References (International): | 1. Montgomery Karen. Big Data Now: 2014 Edition. O’Reilly Media, Junuary, 2015, 165 p. 2. Maier-Shenberher Viktor, Kuker Kennet. Bolshie dannye. Revoliutsiia, kotoraia izmenit to, kak my zhivem, rabotaem i myslim = Big Data. A Revolution That Will Transform How We Live, Work, and Think, transl. from English I. Haidiuk, M., Mann, Ivanov, Ferber, 2014, 240 p. 3. Data Science and Big Data Analytics: Discovering, Analyzing, Visualizing and Presenting Data. John Wiley & Sons. 2014-12-19.300p. 4. Big Data Applience [Electronic resource], Oracle Big Data: sait, Rezhim dostupu https://www.oracle.com/engineered-systems/big-data-appliance/index.html. 5. Almasi, G.S. and A. Gottlieb (2009). Highly Parallel Computing. Benjamin, Cummings publishers, Redwood City, CA, 235 p. 6. Shakhovska N. B. Orhanizatsiia velykykh danykh u rozpodilenomu seredovyshchi, N. B. Shakhovska, Yu. Ya. Boliubash, O. M. Veres// Naukovi pratsi DonNTU. Serie: obchysliuvalna tekhnika ta avtomatyzatsiia, 2014, No 2(27), P. 147–155. 7. Pavych N. Ya. Otsiniuvannia efektyvnosti opratsiuvannia danykh velykykh obsiahiv tekhnolohiiamy Spark ta Hive, N. Ya. Pavych, O. P. Krokhmalna, Visnyk Nats. un-tu "Lviv. politekhnika" "Kompiuterni systemy ta merezhi", 2015, No 830, P. 128–135. 8. Siedushev O. Yu. Metody vydobuvannia danykh z baz nechitkykh znan, O. Yu. Siedushev, Ye. V. Burov, Visnyk Nats. un-tu "Lviv. politekhnika" "Informatsiini systemy ta merezhi", 2014, No 783, P. 193–203. 9. Mapreduce Appliance. [Electronic resource], MapReduce: sait, Rezhim dostupu http://www.teradata.com/products/Aster_MapReduce_Appliance. 10. GreenPlum. [Electronic resource]//: sait, Rezhim dostupu http://www.emc.com/campaign/global/greenplumdca/index.htm. 11. Zhu Yixia, Yao Liwen, Huang Shuiyuan, Huang Longjun. A association rules mining algorithm based on matrix and trees[J]. Computer science. 2006, 33(7):196-198. 12. Tong Qiang, Zhou Yuanchun, Wu Kaichao, Yan Baoping. A quantitative association rules mining algorithm[J]. Computer engineering. 2007. 13. Agrawal R., Imielinski T., Swami A. Mining association rules between sets of items in large database, In Proc. of the 1993 ACM-SIGMOD Int’l Conf. on Management of Data, 1993: 207-216. 14. Agrawal R. and Srikant, R. Fast algorithms for mining association rules. In Proc.20th Int. Conf. Very Large Data Bases, Santiago, Chile, 1994. 487–499. 15. Purdom P. W., Guch D. V., Groth D. P. Avarage case performance of the apriori algorithm – SIAM Journal on Computing, 33(5): 1223–1260, 2004. 16. Mohammed J. Zaki. Scalable algorithms for association mining – IEEE Transactions on Knowledge and Data Engineering, 12(3):373–390, 2000. 17. Brin S., Rajeev Motwani, Ullman J., Tsur S. Dynamic itemset couting and implication rules for market basket data// Proc. ACM SIGMOD Intern. Conference on Management of Data, 255–264 p., USA, 1997. 18. Apache Hadoop. [Electronic resource]// Big Data:sait, Rezhim dostupu https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html 19. Harris, Dereck Intel jettisons its Hadoop distro and puts millions behind Cloudera (27 March 2014). 20. Uait, Tom Hadoop. Podrobnoe rukovodstvo= Hadoop: The Definitive Guide, SPb., 2013, 672 p. 21. Hadoop File System. [Electronic resource]// hadoop-distributed-file-system: sait, Rezhim dostupu https://www. safaribooksonline.com/blog/2013/02/13/the-hadoop-distributed-file-system. 22. White T. Hadoop: The Definitive Guide, 4th Edition. O’Reilly Media, March, 2015 – 756 p. 23. Nechypir N. I. Opratsiuvannia velykykh obsiahiv nestrukturovanykh ta strukturovanykh danykh alhorytmom Apriori, N. I. Nechypir, Ye. V. Levus, Matematychne ta prohramne zabezpechennia intelektualnykh system: mater. XIII Mizhnar. nauk.-prakt. konf, Dnipropetrovsk: Vyd-vo Dnipropetr. Nats. un-tu im. Olesia Honchara, 2015, P. 34–36. |
Content type: | Article |
Appears in Collections: | Інформаційні системи та мережі. – 2017. – №872 |
File | Description | Size | Format | |
---|---|---|---|---|
2017n872_Levus_Ie_V-The_analysis_of_apriori_62-68.pdf | 733.75 kB | Adobe PDF | View/Open | |
2017n872_Levus_Ie_V-The_analysis_of_apriori_62-68__COVER.png | 444.83 kB | image/png | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.