Πλατφόρμα Αποθήκευσης και Ανάκτησης Ετερογενών Δεδομένων σε Πολλαπλά Αποθετήρια με Υποστήριξη Ιστορικών και Ροών Δεδομένων
Διπλωματική Εργασία


Περιγραφή

ΠΕΡΙΛΗΨΗ: Σκοπός της εργασίας είναι η υλοποίηση μιας πλατφόρμας που θα επιτρέπει την αποθήκευση, την οργάνωση και την ανάκτηση μεγάλων όγκων ετερογενών δεδομένων από πολλαπλές πηγές, παρέχοντας παράλληλα δυνατότητες ανάλυσης ιστορικών δεδομένων και παρακολούθησης ροών δεδομένων σε πραγματικό χρόνο

ΠΛΑΤΦΟΡΜΑ ΕΡΓΑΣΙΑΣ: Node Red, Java, Mongo, Hadoop

ΣΥΝΤΟΜΗ ΠΕΡΙΓΡΑΦΗ: Οι εφαρμογές IoT διεισδύουν όλο και περισσότερο σε διάφορους τομείς, από τις έξυπνες πόλεις μέχρι τη βιομηχανία. Η ποικιλία των συσκευών IoT (αισθητήρες, κάμερες κ.λπ.) που συλλέγουν δεδομένα σε πραγματικό χρόνο ή ως ιστορικά αρχεία δημιουργεί ένα πολύπλοκο τοπίο δεδομένων. Η διαχείριση αυτής της ετερογένειας απαιτεί αποδοτικές λύσεις αποθήκευσης και ανάκτησης σε πολλαπλά αποθετήρια, προσαρμοσμένες στις συγκεκριμένες απαιτήσεις κάθε τύπου δεδομένων.

Σκοπός της εργασίας είναι η δημιουργία μιας πλατφόρμας που θα παρέχει μια ενιαία είσοδο σε πολλαπλά αποθετήρια δεδομένων. Η πλατφόρμα θα πρέπει να υποστηρίζει την αποθήκευση, την οργάνωση και την ανάκτηση ετερογενών δεδομένων, ενώ παράλληλα θα προσφέρει ένα ευρετήριο για την εύκολη αναζήτηση και ανάκτηση πληροφοριών, είτε πρόκειται για δεδομένα σε πραγματικό χρόνο είτε για ιστορικά αρχεία.

Τα στάδια εκπόνησης της διπλωματικής εργασίας προβλέπονται ως εξής:

  • Μελέτη σχετικής βιβλιογραφίας
  • Καθορισμός των απαιτήσεων
  • Σχεδιασμός Αρχιτεκτονικής
  • Υλοποίηση πλατφόρμας
  • Αξιολόγηση

ΣΧΕΤΙΚΟ ΥΛΙΚΟ

[1] Data-intensive applications, challenges, techniques and technologies: A survey on Big Data https://doi.org/10.1016/j.ins.2014.01.015

[2] A Survey of Distributed Data Stream Processing Frameworks https://ieeexplore.ieee.org/abstract/document/8864052

[3] Hohpe, Gregor, and Bobby Woolf. Enterprise integration patterns: Designing, building, and deploying messaging solutions. Addison-Wesley Professional, 2004. https://dl.acm.org/doi/book/10.5555/940308

Επικοινωνία: Μάριος Κόνιαρης (mkoniari@central.ntua.gr), Μέλος Ε.ΔΙ.Π

Τσανάκας Παναγιώτης (panag@cs.ntua.gr)