Προπτυχιακές Σπουδές

Αξιολόγηση Αρχιτεκτονικών Transformers σε Κατανεμημένα Συστήματα Βαθιάς Μάθησης για Εφαρμογές Κινητών Συσκευών
Διπλωματική Εργασία

---

Περιγραφή

Η εξέλιξη των κινητών και IoT συσκευών τα τελευταία χρόνια έχει επιφέρει μια μεταβατική εποχή στον τομέα του υπολογισμού, με επίκεντρο τις παρυφές του δικτύου (edge). Με το μεγαλύτερο μέρος των δεδομένων να παράγεται στις παρυφές, υπάρχει αυξανόμενη ανάγκη για την τοπική επεξεργασία τους. Αυτό έχει προκαλέσει ενδιαφέρον για εκτέλεση συμπερασματολογίας (inference) μοντέλων βαθιάς μάθησης απευθείας στις συσκευές, ελαχιστοποιώντας την ανάγκη μεταφοράς και επεξεργασίας δεδομένων στο νέφος (cloud). Ωστόσο, αυτό το σενάριο απαιτεί την ανάπτυξη μοντέλων ειδικά προσαρμοσμένων στις υπολογιστικά περιορισμένες συσκευές, τα οποία έχουν μειωμένη ακρίβεια.

Για τη διατήρηση της ακρίβειας και την αποφόρτιση του υπολογιστικού φόρτου από τις συσκευές, έχει αναπτυχθεί η ιδέα της κατανεμημένης συμπερασματολογίας με υποβοήθηση από εξυπηρετητή (server) ο οποίος είναι τοποθετημένος στις παρυφές του δικτύου ώστε να βρίσκεται κοντά στις συσκευές. Μια διαδεδομένη κατανεμημένη αρχιτεκτονική είναι αυτή της αλληλουχίας (cascade) μοντέλων. Η αρχιτεκτονική αυτή βασίζεται στην ιδέα ότι το μεγαλύτερο μέρος των δεδομένων είναι απλά και μπορούν να επεξεργαστούν σωστά από ελαφριά μοντέλα με μειωμένο υπολογιστικό κόστος, ενώ τα πιο δύσκολα δείγματα μπορούν να προωθηθούν ώστε να επεξεργαστούν από ένα πιο περίπλοκο μοντέλο με αυξημένες υπολογιστικές ανάγκες, διατηρώντας έτσι υψηλή, state-of-the-art, ακρίβεια.

Κατά τη διάρκεια των τελευταίων ετών, με την κυκλοφορία εφαρμογών όπως το ChatGPT, έχει δημιουργηθεί τεράστιο ενδιαφέρον γύρω από τα μοντέλα αρχιτεκτονικής Transformers, τα οποία είναι και το κύριο συστατικό της επιτυχίας αυτών των εφαρμογών. Η ομαλή ενσωμάτωση τέτοιων μοντέλων σε κινητές και IoT συσκευές είναι καίρια για την ευρεία διάδοση των αυξημένων δυνατότητων τεχνητής νοημοσύνης που προσφέρουν. Καθώς τα μοντέλα αυτά τείνουν να είναι εξαιρετικά πολύπλοκα, δημιουργείται η ανάγκη για κατανεμημένη εκτέλεση.

Στόχοι της παρούσης διπλωματικής εργασίας αποτελούν: (α) αξιολόγηση Transformer μοντέλων ως προς την ακρίβεια και την αξιοποίηση πόρων, καθώς και η σύγκριση τους με καθιερωμένες αρχιτεκτονικές όπως τα CNNs, (β) επιλογή κατάλληλων μοντέλων για την ενσωμάτωση τους σε ένα σχήμα αλληλουχίας, (γ) βελτιστοποίηση του συστήματος ως προς την καθυστέρηση (latency), την ακρίβεια (accuracy), τη χρήση πόρων (resource utilization), κ.α., και (δ) εξερεύνηση της ανθεκτικότητας του κατανεμημένου συστήματος σε ακραίες καταστάσεις.

Απαραίτητες γνώσεις προγραμματισμού: Python

Επιθυμητές γνώσεις:Deep Learning _frameworks (_TensorFlow, Keras, PyTorch)