Ενίσχυση της Αποδοτικότητας Βαθιών Νευρωνικών Δικτύων μέσα από Βελτιστοποιημένες Στρατηγικές Πρόωρης Εξόδου (Early Exit)
Διπλωματική Εργασία
| Επιβλέπων | Ιάκωβος Βενιέρης |
|---|---|
| Συσχετιζόμενο μάθημα | Δίκτυα Ευρείας Ζώνης |
Περιγραφή
Η βαθιά μάθηση (deep learning, DL) έχει αναμφισβήτητα μεταμορφώσει το τοπίο της τεχνητής νοημοσύνης, οδηγώντας σε δραματικές προόδους σε ποικίλους τομείς, από την όραση υπολογιστών μέχρι την επεξεργασία φυσικής γλώσσας, αλλά και σε διαφορετικά περιβάλλοντα, που κυμαίνονται από αυτόνομα οχήματα, που απαιτούν αντίληψη σε πραγματικό χρόνο, μέχρι τις διασυνδεδεμένες συσκευές του διαδικτύου των πραγμάτων (Internet of Things, IoT). Παρόλα αυτά, οι εξαιρετικά υψηλές υπολογιστικές απαιτήσεις που συχνά έχουν τα βαθιά νευρωνικά δίκτυα (deep neural networks, DNNs) απαιτούν εκτεταμένη χρήση υπολογιστικών πόρων και οδηγούν σε χρονοβόρα συμπερασματολογία (inference). Κατά συνέπεια, προκύπτει μια ανάγκη ανάπτυξης δυναμικών στρατηγικών για την αποβάρυνση του υπολογιστικού φόρτου που δημιουργούν τα μοντέλα βαθιάς μάθησης, ειδικά σε περιβάλλοντα περιορισμένων πόρων.
Μια οικογένεια στρατηγικών που έχει προταθεί για την αντιμετώπιση των παραπάνω προκλήσεων είναι οι στρατηγικές πρόωρης εξόδου (early exit), που προσφέρουν μια δίοδο για τη βελτίωση της αποτελεσματικότητας, της αποκριτικότητας και της πρακτικότητας των μοντέλων βαθιάς μάθησης. Επιτρέποντας στα μοντέλα να παράγουν προβλέψεις ή να παίρνουν αποφάσεις πριν την ολοκλήρωση των υπολογισμών, οι στρατηγικές πρόωρης εξόδου καθιστούν τα μοντέλα πιο ευέλικτα κατά τη διάρκεια της συμπερασματολογίας. Η ενσωμάτωση τέτοιων στρατηγικών σε εφαρμογές βαθιάς μάθησης όχι μόνο έχει τη δυνατότητα να ενισχύσει την αποτελεσματικότητα, αλλά διευρύνει επίσης τους ορίζοντες των μοντέλων, διευκολύνοντας την ανάπτυξή τους σε σενάρια πραγματικού χρόνου και ενισχύοντας έτσι την ανάπτυξη πιο έξυπνων συστημάτων ταχείας απόκρισης.
Η παρούσα διπλωματική εργασία περιλαμβάνει τα ακόλουθα στάδια: (α) μελέτη και ανάπτυξη στρατηγικών πρόωρης εξόδου για βαθιά νευρωνικά δίκτυα, βάσει παραγόντων όπως η αρχιτεκτονική του δικτύου, το βάθος των επιπέδων και τα χαρακτηριστικά των δεδομένων, (β) εκτενής αξιολόγηση των στρατηγικών για την εκτίμηση του αντίκτυπου που έχουν στην απόδοση, την ακρίβεια και τη χρήση υπολογιστικών πόρων, (γ) βελτιστοποίηση τεχνικών με δυναμικά κατώφλια (thresholds) για την υιοθέτηση στρατηγικών πρόωρης εξόδου σε πραγματικό χρόνο με βάση τη συμπεριφορά του μοντέλου, την πολυπλοκότητα των δεδομένων και τα επιθυμητά επίπεδα ακρίβειας, και (δ) εξερεύνηση σεναρίων πρακτικών εφαρμογών τα οποία μπορούν να επωφεληθούν από στρατηγικές πρόωρης εξόδου σε τομείς όπως η αναγνώριση εικόνας, η επεξεργασία φυσικής γλώσσας, η αναγνώριση αντικειμένων ή τα συστήματα συστάσεων.
Απαραίτητες γνώσεις προγραμματισμού: Python
Επιθυμητές γνώσεις:Deep Learning _frameworks (_TensorFlow, Keras, PyTorch)