Ανάλυση σε Πραγματικό Χρόνο, Ροών Μεγάλων Δεδομένων για Έξυπνες Πόλεις - Πρόγνωση σε Πραγματικό Χρόνο Ηλεκτρικής Ενέργειας σε Ευφυές Δίκτυο
Διπλωματική Εργασία
| Επιβλέπων | Παναγιώτης Τσανάκας |
|---|---|
| Συσχετιζόμενο μάθημα | Λειτουργικά Συστήματα Υπολογιστών |
Περιγραφή
Ανάλυση σε Πραγματικό Χρόνο, Ροών Μεγάλων Δεδομένων για Έξυπνες Πόλεις -- Πρόγνωση σε Πραγματικό Χρόνο Ηλεκτρικής Ενέργειας σε Ευφυές Δίκτυο
(Real-Time Big-Data Streams Analytics for Smart Cities
-- Real-Time Energy Forecasting on the Smart Grid)
Εισαγωγή
Οι Έξυπνες Πόλεις όπως προδιαγράφονται από την Ευρωπαϊκή Ένωση αλλά και σε παγκόσμιο επίπεδο, αποτελούν σύγχρονα κύτταρα αστικής ανάπτυξης τα οποία εφαρμόζουν συνειδητά την Επιστήμη της Πληροφορικής σε κάθε επίπεδο λειτουργίας τους. Ειδικά στον τομέα της Ενέργειας έμφαση δίδεται στα Ευφυή Δίκτυα τα οποία επιδιώκουν να αντικαταστήσουν το «μονολιθικό» παραδοσιακό Δίκτυο με ένα Ηλεκτρικό Δίκτυο το οποίο προσομοιάζει με την κατανεμημένη λειτουργία ενός δικτύου υπολογιστών. Χαρακτηριστικό των Ευφυών Δικτύων είναι η υποστήριξη από αυτά χιλιάδων μικρών μονάδων παραγωγής ενέργειας ειδικά από ανανεώσιμες πηγές ενέργειας. Ταυτόχρονα τα Ευφυή Δίκτυα μέσα από πολυπληθείς Ευφυείς Συσκευές και Έξυπνους Μετρητές (Smart Meters) αποτελούν μέρος του Internet-of-Things (IoT) για ενέργεια με τις δικές τους εξειδικευμένες ανάγκες διαχείρισης.
Η βέλτιστη διαχείριση του τομέα της ενέργειας απαιτεί την ανάλυση των Μεγάλων Δεδομένων που δημιουργούνται από τα εκατομμύρια αισθητήρων και έξυπνων μετρητών που υπάρχουν στο Δίκτυο με την προϋπόθεση η ανάλυση αυτή να γίνεται συνεχώς και σε πραγματικό χρόνο (πληροφορία τάξης μεγέθους Gbits/sec με απόκριση κάτω από ένα δευτερόλεπτο για αλγορίθμους μεγάλης πολυπλοκότητας).
Όπως παρουσιάζεται πιο κάτω, στόχος της Διπλωματικής είναι η υλοποίηση συγκεκριμένων αλγορίθμων, κατάλληλων για μεθοδολογική ανάλυση Ευφυών Δικτύων και η συγκριτική τους αξιολόγηση μέσα στα πλαίσια ενός γενικού θεωρητικού πλαισίου Ανάλυσης Ροών Μεγάλων Δεδομένων (Big-Data Streams Analytics).
Σκοπός
Σκοπός της Διπλωματικής είναι η υλοποίηση και η συγκριτική αξιολόγηση των επιδόσεων πραγματικού χρόνου αλγοριθμικών μεθόδων ανάλυσης μεγάλων δεδομένων τα οποία παράγονται σε περιβάλλοντα Ευφυών Δικτύων (Smart Grids).
Πορεία Υλοποίησης
Μετά από επισκόπηση των κύριων αλγοριθμικών μεθόδων ανάλυσης μεγάλων δεδομένων, η πρώτη φάση της υλοποίησης στοχεύει στην επικέντρωση σε αλγορίθμους Πρόγνωσης Ενέργειας (Energy Forecasting). Κατά τη δεύτερη φάση αναγνωρίζονται πλατφόρμες για μεγάλα δεδομένα και σχετικές βιβλιοθήκες Πρόγνωσης. H τρίτη φάση αναγνωρίζει υφιστάμενες συγκριτικές αξιολογήσεις με επίκεντρο τις επιδόσεις πραγματικού χρόνου και αναπτύσσει συνθετικά δεδομένα κατάλληλα για εφαρμογές Πρόγνωσης Ενέργειας. Το τελευταίο, τέταρτο στάδιο της εργασίας, με βάση το θεωρητικό υπόβαθρο και τις βιβλιοθήκες εργαλείων από τα προηγούμενα στάδια, εκτελεί συγκριτικές αξιολογήσεις σε πλατφόρμα μεγάλων δεδομένων.
Α. Αλγοριθμική Ανάλυση
- Επισκόπηση κύριων Αλγοριθμικών Μεθόδων Ανάλυσης Μεγάλων Δεδομένων Ευφυών Δικτύων (π.χ. Energy Forecasting, Clustering, Dynamic Pricing Analytics).
- Εξειδικευμένη ανάλυση αλγορίθμων Πρόγνωσης Ενέργειας (Energy Forecasting).
Β. Πλατφόρμες Μεγάλων Δεδομένων Πραγματικού Χρόνου
- Επισκόπηση πλατφορμών για μεγάλα δεδομένα (π.χ. Hadoop, Hadoop/Spark) με χρήση βιβλιοθηκών Πρόγνωσης (π.χ. βιβλιοθήκες MLlib, Python, R).
Γ. Εργαλεία Συγκριτικής Αξιολόγησης και Συνθετικά Δεδομένα
- Επισκόπηση υφιστάμενων εργαλείων για συγκριτική αξιολόγηση των επιδόσεων πραγματικού χρόνου από πλατφόρμες Ροών Μεγάλων Δεδομένων (π.χ. Spark Performance Tests).
Δημιουργία συνθετικών δεδομένων κατάλληλων για συγκριτική αξιολόγηση επιδόσεων πραγματικού χρόνου εφαρμογών Πρόγνωσης Ενέργειας.
Δ. Υλοποίηση αλγορίθμου επιλογής σε πλατφόρμα Διαχείρισης Ροών Μεγάλων__Δεδομένων
- Υλοποίηση συγκριτικών αξιολογήσεων επιδόσεων πραγματικού χρόνου σε πλατφόρμα Διαχείρισης Ροών Μεγάλων Δεδομένων που θα επιλεγούν, με χρήση των αλγορίθμων, εργαλείων συγκριτικών αξιολογήσεων και συνθετικών δεδομένων που έχουν αναλυθεί στα προηγούμενα στάδια.
Δεξιότητες
Απαιτείται καλή γνώση της γλώσσας προγραμματισμού C++ όπως και της γλώσσας προγραμματισμού Python και θα αναπτυχθούν γνώσεις προγραμματισμού σε περιβάλλον Hadoop. Επίσης θα αναπτυχθούν ικανότητες διαχείρισης και προγραμματισμού Spark και MLlib APIs όπως περιγράφονται στο σύνδεσμο http://spark.apache.org/docs/latest/index.html
Επικοινωνία
Παναγιώτης Τσανάκας, Καθηγητής panag@cs.ntua.gr
Παναγιώτης Μιχαήλ, Μεταδιδακτορικός Συνεργάτης PanayiotisMichael@mail.ntua.gr
Αναφορές
[1] The European Innovation Partnership on Smart Cities and Communities. http://ec.europa.eu/eip/smartcities/
[2] What is the Smart Grid? https://www.smartgrid.gov/the_smart_grid/index.html
[3] Max Kuhn, Kjell Johnson, Applied Predictive Modeling. 2013. Springer.
[4] Linear Road – Home. http://www.cs.brandeis.edu/~linearroad/
[5] Michael, P. A., and Parker, D. S. Architectural Principles of the Streamonas Data Stream Management System and Performance Evaluation based on the Linear Road Benchmark. In Proc. of the 2008 International Conference on Computer Science and Software Engineering (2008 CSSE), IEEE, Wuhan, China, 2008 (available at: https://www.researchgate.net/profile/Panayiotis_Michael )
[6] Michael, P. A., and Parker, D. S. The Semantic Space-time models of the Streamonas Data Stream Management System. In Proc. of the 2009 World Congress on Computer Science and Information Engineering (2009 CSIE), IEEE, Los Angeles / Anaheim, USA, 2009.
[7] Michael, P. A., and Parker, D. S. Real-Time spatio-temporal data mining with the Streamonas Data Stream Management System. In Proc. of the Tenth International Conference on Data Mining, Detection, Protection and Security, Wessex Institute of Technology, Crete, Greece, 2009.
[8] Arasu, A., Cherniack, M., Galvez, E., Maier, D., Maskey, A. S., Ryvkina, E., Stonebraker, M., and Tibbets, R. 2004. Linear Road: A Stream Data Management Benchmark. In Proceedings of the 30th Intl. Conference on Very Large Data Bases, 2004.
[9] Parker, D. S., Muntz, R. R., and Chau, H. L. 1989. The Tangram stream query processing system. In Proceedings of the Fifth International Conference on Data Engineering.
[10] Zaniolo, C., Ceri, S., Faloutsos, C., Snodgrass, R.T., Subrahmanian, V. S., and Zicari, R. 1997. Advanced Database Systems. Morgan Kaufmann.
[11] Welcome to Apache Hadoop. http://hadoop.apache.org/
[12] Overview Spark 2.0.0 Documentation http://spark.apache.org/docs/latest/index.html
[13] Welcome to Python.org. https://www.python.org/