Ανάλυση σε Πραγματικό Χρόνο, Ροών Μεγάλων Δεδομένων για Έξυπνες Πόλεις - Ομαδοποίηση Δεδομένων σε Πραγματικό Χρόνο σε Ευφυές Δίκτυο
Διπλωματική Εργασία
| Επιβλέπων | Παναγιώτης Τσανάκας |
|---|---|
| Συσχετιζόμενο μάθημα | Δικτυακός Προγραμματισμός |
Περιγραφή
Εισαγωγή
Οι Έξυπνες Πόλεις όπως προδιαγράφονται από την Ευρωπαϊκή Ένωση αλλά και σε παγκόσμιο επίπεδο, αποτελούν σύγχρονα κύτταρα αστικής ανάπτυξης τα οποία εφαρμόζουν τεχνολογίες πληροφορικής και επικοινωνιών σε κάθε επίπεδο λειτουργίας τους. Ειδικά στον τομέα της Ενέργειας έμφαση δίδεται στα Ευφυή Δίκτυα τα οποία επιδιώκουν να αντικαταστήσουν το «μονολιθικό» παραδοσιακό Δίκτυο με ένα Ηλεκτρικό Δίκτυο το οποίο προσομοιάζει με την κατανεμημένη λειτουργία ενός δικτύου υπολογιστών. Χαρακτηριστικό των Ευφυών Δικτύων είναι η υποστήριξη από αυτά χιλιάδων μικρών μονάδων παραγωγής ενέργειας ειδικά από ανανεώσιμες πηγές ενέργειας. Ταυτόχρονα τα Ευφυή Δίκτυα μέσα από πολυπληθείς Ευφυείς Συσκευές και Έξυπνους Μετρητές (SmartMeters) αποτελούν μέρος του Internet-of-Things (IoT) για ενέργεια με τις δικές τους εξειδικευμένες ανάγκες διαχείρισης.
Η βέλτιστη διαχείριση του τομέα της ενέργειας απαιτεί την ανάλυση των Μεγάλων Δεδομένων που δημιουργούνται από εκατομμύρια αισθητήρες και έξυπνους μετρητές που υπάρχουν στο Δίκτυο. Προϋπόθεση αποτελεί η ανάλυση αυτή να γίνεται συνεχώς και σε πραγματικό χρόνο (πληροφορία τάξης μεγέθους Gbits/sec με απόκριση κάτω από ένα δευτερόλεπτο για αλγορίθμους μεγάλης πολυπλοκότητας).
Όπως παρουσιάζεται πιο κάτω, στόχος της Διπλωματικής είναι η υλοποίηση συγκεκριμένων αλγορίθμων, κατάλληλων για μεθοδολογική ανάλυση Ευφυών Δικτύων και η συγκριτική τους αξιολόγηση, στο πλαίσιο ενός μοντέλου Ανάλυσης Ροών Μεγάλων Δεδομένων (Big-DataStreamsAnalytics).
Σκοπός
Σκοπός της Διπλωματικής είναι η υλοποίηση και η συγκριτική αξιολόγηση των επιδόσεων πραγματικού χρόνου αλγοριθμικών μεθόδων ανάλυσης μεγάλων δεδομένων τα οποία παράγονται σε περιβάλλοντα Ευφυών Δικτύων (SmartGrids).
Πορεία Υλοποίησης
Μετά από επισκόπηση των κύριων αλγοριθμικών μεθόδων ανάλυσης μεγάλων δεδομένων, η πρώτη φάση της υλοποίησης στοχεύει στην επικέντρωση σε αλγορίθμους Ομαδοποίησης Δεδομένων (Clustering). Κατά τη δεύτερη φάση αναγνωρίζονται πλατφόρμες για μεγάλα δεδομένα και σχετικές βιβλιοθήκες Ομαδοποίησης Δεδομένων. H τρίτη φάση αναγνωρίζει υφιστάμενες συγκριτικές αξιολογήσεις με επίκεντρο τις επιδόσεις πραγματικού χρόνου και αναπτύσσει συνθετικά δεδομένα κατάλληλα για εφαρμογές Ομαδοποίησης Δεδομένων Ευφυούς Δικτύου. Το τελευταίο, τέταρτο στάδιο της εργασίας, με βάση το θεωρητικό υπόβαθρο και τις βιβλιοθήκες εργαλείων από τα προηγούμενα στάδια, εκτελεί συγκριτικές αξιολογήσεις σε πλατφόρμα μεγάλων δεδομένων.
Α. Αλγοριθμική Ανάλυση
- Επισκόπηση κύριων Αλγοριθμικών Μεθόδων Ανάλυσης Μεγάλων Δεδομένων Ευφυών Δικτύων (π.χ. Clustering, EnergyForecasting, DynamicPricingAnalytics).
- Εξειδικευμένη ανάλυση αλγορίθμων Ομαδοποίησης Δεδομένων (Clustering).
Β. Πλατφόρμες Μεγάλων Δεδομένων Πραγματικού Χρόνου
- Επισκόπηση πλατφορμών για μεγάλα δεδομένα (π.χ. Hadoop, Hadoop/Spark) με χρήση βιβλιοθηκών Ομαδοποίησης Δεδομένων (π.χ. βιβλιοθήκες MLlib, Python, R).
Γ. Εργαλεία Συγκριτικής Αξιολόγησης και Συνθετικά Δεδομένα
- Επισκόπηση υφιστάμενων εργαλείων για συγκριτική αξιολόγηση των επιδόσεων πραγματικού χρόνου από πλατφόρμες Ροών Μεγάλων Δεδομένων (π.χ. SparkPerformanceTests).
Δημιουργία συνθετικών δεδομένων κατάλληλων για συγκριτική αξιολόγηση επιδόσεων πραγματικού χρόνου των εφαρμογών/αλγορίθμων Ομαδοποίησης Δεδομένων.
Δ. Υλοποίηση αλγορίθμου επιλογής σε πλατφόρμα Διαχείρισης Ροών Μεγάλων__Δεδομένων
- Υλοποίηση συγκριτικών αξιολογήσεων επιδόσεων πραγματικού χρόνου σε πλατφόρμα Διαχείρισης Ροών Μεγάλων Δεδομένων, με χρήση των αλγορίθμων, εργαλείων συγκριτικών αξιολογήσεων και συνθετικών δεδομένων που έχουν αναλυθεί στα προηγούμενα στάδια.
Δεξιότητες
Απαιτείται άριστη γνώση της γλώσσας προγραμματισμού C++ καθώς και της γλώσσας προγραμματισμού Python και βασικές γνώσεις προγραμματισμού σε περιβάλλον Hadoop. Επίσης απαιτείται ικανότητα διαχείρισης και προγραμματισμού Spark και MLlibAPIs όπως περιγράφονται στο σύνδεσμο http://spark.apache.org/docs/latest/index.html
Επικοινωνία
- Παναγιώτης Τσανάκας, Καθηγητής Panag@cs.ntua.gr
- Παναγιώτης Μιχαήλ, Μεταδιδακτορικός Συνεργάτης PanayiotisMichael@central.ntua.gr
Αναφορές
[1] The European Innovation Partnership on Smart Cities and Communities. http://ec.europa.eu/eip/smartcities/
[2] What is the Smart Grid? https://www.smartgrid.gov/the_smart_grid/index.html
[3] Max Kuhn, Kjell Johnson, Applied Predictive Modeling. 2013. Springer.
[4] Linear Road – Home. http://www.cs.brandeis.edu/~linearroad/
[5] Michael, P. A., and Parker, D. S. Architectural Principles of the Streamonas Data Stream Management System and Performance Evaluation based on the Linear Road Benchmark. In Proc. of the 2008 International Conference on Computer Science and Software Engineering (2008 CSSE), IEEE, Wuhan, China, 2008 (available at: https://www.researchgate.net/profile/Panayiotis_Michael )
[6] Michael, P. A., and Parker, D. S. The Semantic Space-time models of the Streamonas Data Stream Management System. In Proc. of the 2009 World Congress on Computer Science and Information Engineering (2009 CSIE), IEEE, Los Angeles / Anaheim, USA, 2009.
[7] Michael, P. A., and Parker, D. S. Real-Time spatio-temporal data mining with the Streamonas Data Stream Management System. In Proc. of the Tenth International Conference on Data Mining, Detection, Protection and Security, Wessex Institute of Technology, Crete, Greece, 2009.
[8] Arasu, A., Cherniack, M., Galvez, E., Maier, D., Maskey, A. S., Ryvkina, E., Stonebraker, M., and Tibbets, R. 2004. Linear Road: A Stream Data Management Benchmark. In Proceedings of the 30th Intl. Conference on Very Large Data Bases, 2004.
[9] Parker, D. S., Muntz, R. R., and Chau, H. L. 1989. The Tangram stream query processing system. In Proceedings of the Fifth International Conference on Data Engineering.
[10] Zaniolo, C., Ceri, S., Faloutsos, C., Snodgrass, R.T., Subrahmanian, V. S., and Zicari, R. 1997. Advanced Database Systems. Morgan Kaufmann.
[11] Welcome to Apache Hadoop. http://hadoop.apache.org/
[12] Overview Spark 2.0.0 Documentation http://spark.apache.org/docs/latest/index.html
[13] Welcome to Python.org. https://www.python.org/