Προπτυχιακές Σπουδές

Ακολουθιακά Μοντέλα σε Κατανεμημένα Συστήματα Βαθιάς Μάθησης για Εφαρμογές Κινητών Συσκευών - Sequence-to-sequence Models in Distributed Deep Learning Systems for Mobile Applications (1 Άτομο)
Διπλωματική Εργασία

---

Περιγραφή

Τα τελευταία χρόνια, η ταχεία ανάπτυξη των κινητών συσκευών σε συνδυασμό με την εξαιρετική επίδοση των βαθιών νευρωνικών δικτύων στην επίλυση πολύπλοκων προβλημάτων (κατηγοριοποίηση εικόνας, εντοπισμός αντικειμένων, αναγνώριση φωνής, μοντελοποίηση κειμένου) έχουν δημιουργήσει την ανάγκη για ευφυείς εφαρμογές (smart mobile apps) που σέβονται την ιδιωτικότητα του χρήστη και παρέχουν την απαιτούμενη ποιότητα υπηρεσίας.

Η εκτέλεση νευρωνικών δικτύων στα πλαίσια τέτοιων εφαρμογών εμπεριέχει δύο βασικές προσεγγίσεις: (α) τοπικά, χρησιμοποιώντας τους περιορισμένους υπολογιστικούς πόρους της κινητής συσκευής του χρήστη, ή (β) στο υπολογιστικό νέφος ή στην άκρη του δικτύου με την υποβοήθηση ενός ισχυρού εξυπηρετητή. Αν επιλεγεί η τοπική εκτέλεση, τότε το βασικό μειονέκτημα είναι ότι οι πόροι της κινητής συσκευής μπορεί να μην είναι πάντοτε επαρκείς και επομένως να μην μπορεί να διατηρηθεί η ποιότητα υπηρεσίας. Αντίθετα, με την απομακρυσμένη εκτέλεση, η επιπρόσθετη καθυστέρηση που εισάγεται λόγω της μεταφοράς των δεδομένων μπορεί να είναι απαγορευτική για την εύρυθμη λειτουργία της εφαρμογής. Μια λύση στα παραπάνω ζητήματα είναι η επιλεκτική κατανεμημένη εκτέλεση ανάλογα με τις συνθήκες και τα δυναμικά χαρακτηριστικά τόσο του απομακρυσμένου εξυπηρετητή και της κινητής συσκευής, όσο και της σύνδεσης μεταξύ τους.

Από τη μελέτη που έχει γίνει γύρω από αρχιτεκτονικές Βαθιάς Μάθησης τα τελευταία χρόνια, εξαιρετικά ενδιαφέρουσες είναι οι αρχιτεκτονικές μοντέλων κωδικοποιητή - αποκωδικοποιητή (encoder-decoder models), ή πιο γενικά τα ακολουθιακά μοντέλα (sequence-to-sequence models). Τέτοια μοντέλα χρησιμοποιούνται ευρέως για Μετάφραση (Machine Translation), Λεκτική Περιγραφή Εικόνων ή Βίντεο (Image or Video Captioning), Ανάλυση Συναισθήματος (Sentiment Analysis), κ.α. Για παράδειγμα, στη Λεκτική Περιγραφή Εικόνων συνήθως χρησιμοποιείται ως κωδικοποιητής ένα συνελικτικό νευρωνικό δίκτυο για την εξαγωγή χαρακτηριστικών από το δείγμα εισόδου και ως αποκωδικοποιητής ένα αναδρομικό νευρωνικό δίκτυο που χρησιμοποιεί τα χαρακτηριστικά για την εξαγωγή της λεζάντας.

Στόχος της παρούσας διπλωματικής εργασίας είναι η μοντελοποίηση και ανάπτυξη ενός πλαισίου (framework), το οποίο λαμβάνοντας υπόψη τα δυναμικά χαρακτηριστικά του συστήματος, μετρικές και στόχους επίδοσης θα αποφασίζει για το σημείο εκτέλεσης ενός ακολουθιακού μοντέλου. Οι πιο απλές περιπτώσεις είναι το μοντέλο να εκτελεστεί είτε τοπικά, είτε απομακρυσμένα, αλλά Σε περίπτωση που δεν ενδείκνυται η εκτέλεση ολόκληρου του μοντέλου είτε στη συσκευή, είτε στον εξυπηρετητή, τότε τα δύο σημεία μπορεί ακόμη και να μοιράζονται τους υπολογισμούς.

Απαραίτητες γνώσεις προγραμματισμού (π.χ. Python, Java).

Επιθυμητές****γνώσεις: Android mobile app development, REST API development, Deep Learning frameworks (TensorFlow, TFLite).