Εξοικονόμηση πόρων σε δικτυακά περιβάλλοντα Κατανεμημένης Μηχανικής Μάθησης (Federated Machine Learning) με χρήση Χαλαρών Υπολογιστικών Μεθόδων (Soft Computing)
Διπλωματική Εργασία
| Επιβλέπων | Παναγιώτης Τσανάκας |
|---|---|
| Συσχετιζόμενο μάθημα | Λειτουργικά Συστήματα Υπολογιστών |
Περιγραφή
Περιγραφή:
Η Μηχανική Μάθηση (Machine Learning - ML) αποτελεί ένα υποπεδίο της Τεχνητής Νοημοσύνης (Artificial Intelligence - AI) που αφορά τη μελέτη και κατασκευή αλγορίθμων, οι οποίοι εκπαιδεύονται από τα δεδομένα των χρηστών ώστε να κάνουν προβλέψεις σχετικά με αυτά π.χ. για την αναγνώριση εικόνων, για πρόβλεψη μελλοντικών τιμών σε χρονοσειρές κτλ. Ενώ παραδοσιακά οι τεχνικές ML εφαρμόζονταν σε κεντρικοποιημένα περιβάλλοντα μεγάλης υπολογιστικής ισχύος π.χ. Κέντρα Δεδομένων (Data Centers - DCs), η ανάγκη για ιδιωτικότητα των δεδομένων έχει φέρει στο προσκήνιο νέες αποκεντροποιημένες μεθόδους μηχανικής μάθησης όπως η Κατανεμημένη Μάθηση [1] (Federated Learning - FL), όπου η εκπαίδευση (training) πραγματοποιείται συνεργατικά και παράλληλα από πολλούς κόμβους του δικτύου (clients) π.χ. μικροσυσκευές, smartphones, κ.α. και ο κεντρικός διακομιστής (server) αναλαμβάνει την ενορχήστρωση αυτών και το συνδυασμό-συνένωση των αποτελεσμάτων της εκπαίδευσης, δηλαδή των μηχανικών μοντέλων (ML models).
Σε αντίθεση με τις κεντρικοποιημένες τεχνικές ML, η απόδοση του FL δεν είναι πάντοτε εγγυημένη, εξαιτίας διάφορων παραγόντων όπως η ασυμμετρία στα δεδομένα των κόμβων, η διαφορετική επεξεργαστική ικανότητα των κόμβων, η ικανότητα διασύνδεσης με το δίκτυο κ.α. Έτσι, εισάγονται καθυστερήσεις στη διαδικασία σύγκλισης του FL με αποτέλεσμα τη δαπάνη δικτυακών πόρων π.χ., ενέργεια, εύρος ζώνης κτλ. Για την αντιμετώπιση του φαινομένου αυτού έχει προταθεί η χρήση των Χαλαρών Υπολογιστικών Μεθόδων (Soft Computing) [2]. Οι μέθοδοι αυτοί αναφέρονται σε μια σειρά Ευριστικών Κανόνων (Heuristics), δηλαδή σχετικά απλών αλγορίθμων που βελτιστοποιήσουν τα επιμέρους μοντέλα και το τελικό συνδυαστικό. Χαρακτηριστικά παραδείγματα αυτών είναι οι Γενετικοί Αλγόριθμοι (Genetic Algorithms), η Νοημοσύνη Σμήνους (Swarm Intelligence) κ.α. Μέσω αυτών, η σύγκλιση του FL μπορεί να επιτευχθεί ταχύτερα και με τη δαπάνη λιγότερων πόρων, δεδομένου ότι είναι απλούστεροι υπολογιστικά σε σχέση με την κλασσική μηχανική εκπαίδευση.
Σκοπός της διπλωματικής εργασίας είναι αρχικά η θεωρητική μελέτη των βασικών αρχών της Κατανεμημένης Μάθησης και των Χαλαρών Υπολογιστικών Μεθόδων. Στη συνέχεια, θα πραγματοποιηθεί η υλοποίηση των μεθόδων αυτών για ορισμένα σενάρια Κατανεμημένης Μάθησης σε ειδικό περιβάλλον προσομοίωσης Κατανεμημένης Μάθησης [3], προκειμένου να προκύψει μια συγκριτική ανάλυση σε σχέση με την απλή λύση της Κατανεμημένης Μάθησης, ως προς τη βελτίωση της ταχύτητας σύγκλισης ή/και της εξοικονόμησης δικτυακών πόρων.
Προτεινόμενη βιβλιογραφία:
[1] https://ai.googleblog.com/2017/04/federated-learning-collaborative.html
[2] Supriya, Y., and Thippa Reddy Gadekallu. "A Survey on Soft Computing Techniques for Federated Learning-Applications, Challenges and Future Directions." ACM Journal of Data and Information Quality (2023).
[3] https://github.com/adap/flower
Επιθυμητές Γνώσεις:
1) Βασικές αρχές σε Τεχνητή Νοημοσύνη/Μηχανική Μάθηση
2) Βασική γνώση Python
3) (Προαιρετικά) Linux, Pytorch/Tensorflow
Επικοινωνία:
Δραϊνάκης Γιώργος (giorgos.drainakis@iccs.gr), Παναγιώτης Τσανάκας (panag@cs.ntua.gr).