Eυφυές σύστημα παραγωγής λεκτικής περιγραφής εικόνας
Διπλωματική Εργασία


Επιβλέπων Ιάκωβος Βενιέρης
Συσχετιζόμενο μάθημα Δίκτυα Ευρείας Ζώνης

Περιγραφή

Αντικείμενο της παρούσης διπλωματικής εργασίας είναι η δημιουργία ενός ευφυούς συστήματος, το οποίο θα υποδέχεται στην είσοδό του μια εικόνα και θα παράγει μια σύντομη λεκτική περιγραφή του εικονιζόμενου θέματος αυτής (image captioning). Το σύστημα θα προκύψει μέσα από την εφαρμογή τεχνικών που εμπίπτουν στην περιοχή της Μηχανικής Μάθησης (Machine Learning). Οι τεχνικές θα εφαρμοστούν πάνω σε δημοσιοποιημένα σύνολα δεδομένων όπως το Flilckr8K.

Τα αποτελέσματα της διπλωματικής εργασίας θα παρουσιασθούν μέσω διαδικτυακής εφαρμογής υλοποιημένης σε PHP ή Python, η οποία θα παρέχει τη δυνατότητα στον χρήστη να ανεβάζει εικόνες και να λαμβάνει τις αντίστοιχες περιγραφές μέσω γραφικής διεπαφής χρήστη (Web User Interface) και προγραμματιστικής διεπαφής (API).

Η διπλωματική εργασία αναμένεται να εφοδιάσει τον σπουδαστή με ένα ευρύ φάσμα θεωρητικών και εφαρμοσμένων γνώσεων που εμπίπτουν στην Επιστήμη των Δεδομένων (Data Science) και εκτείνονται μέχρι το σχεδιασμό και την ανάπτυξη σύγχρονων διαδικτυακών εφαρμογών. Πιο συγκεκριμένα, ο σπουδαστής θα πρέπει να μελετήσει τη διεθνή βιβλιογραφία με σκοπό την επιλογή των βέλτιστων τεχνικών επίλυσης του προβλήματος, καθώς και τον προσδιορισμό του κατάλληλου συνόλου δεδομένων προς ανάλυση. Στη συνέχεια, θα πρέπει να αξιοποιήσει τα κατάλληλα εργαλεία (προτείνονται τα Python Pandas και Kerras) για την ανάλυση δεδομένων και την αρχιτεκτονική σχεδίαση των κατάλληλων νευρωνικών δικτύων. Ο πειραματισμός με την αρχιτεκτονική και με τις υπερ-παραμέτρους εκμάθησης αναμένεται να οδηγήσει σε ποιοτική βελτιστοποίηση του συστήματος. Μετά την επιτυχή δοκιμή του συστήματος, ο σπουδαστής καλείται να σχεδιάσει και να υλοποιήσει κατάλληλη διαδικτυακή υπηρεσία για την ευρύτερη αξιοποίηση του συστήματος, αποκτώντας επιπλέον γνώσεις σχεδιασμού και ανάπτυξης σύγχρονων διαδικτυακών εφαρμογών.

Απαραίτητες βασικές γνώσεις Python, Javascript, HTML, ανάλυσης δεδομένων με Python Pandas, βιβλιοθηκών μηχανικής μάθησης (Keras ή TensorFlow).

(1-2 άτομα) (Υπεύθυνος ερευνητής: Σπ. Καζάνας, Υ.Δ.)