Νευρωνικά Δίκτυα και Βαθιά Μάθηση
| Κωδικός | 3.4.3319.8 |
|---|---|
| Εξάμηνο | 8o |
| Ροή | Υ - Υπολογιστικά Συστήματα |
| Κατηγορία | Κατ' επιλογήν υποχρεωτικό |
| Ώρες Διδασκαλίας - Ώρες Εργαστηρίου | 2 - 2 |
| Διδάσκοντες | Αθανάσιος Βουλόδημος, Γιώργος Στάμου, Ανδρέας-Γεώργιος Σταφυλοπάτης, Παρασκευή Τζούβελη (Ε.ΔΙ.Π.) |
Περιγραφή
Εισαγωγή. Ανασκόπηση βασικών εννοιών μηχανικής μάθησης και υπολογιστικής νοημοσύνης. Μοντέλα και αρχιτεκτονικές νευρωνικών δικτύων, δυναμική συμπεριφορά, σύγκλιση και ευστάθεια, αλγόριθμοι μάθησης, υπολογιστικές δυνατότητες.
Ανασκόπηση Θεωρίας Μάθησης, bias/complexity tradeoff, Πιθανώς Προσεγγιστικά Ορθή μάθηση (Probably Approximately Correct – PAC learning). Μη ομοιόμορφη μαθησιμότητα (non-uniform learnability), Πολυπλοκότητες Rademacher, συνάρτηση ανάπτυξης (growth function), διάσταση Vapnik – Chervonenkis (VC). No Free Lunch Theorem.
Perceptron, πολυστρωματικό perceptron (MultiLayer Perceptron-MLP)). Βαθιά μάθηση. Βαθιά νευρωνικά δίκτυα πρόσθιας τροφοδότησης (deep feedforward neural networks).
Εκπαίδευση νευρωνικών δικτύων. Συναρτήσεις κόστους (loss functions), συναρτήσεις ενεργοποίησης (activation functions), στοχαστική κάθοδος κλίσης (Stochastic Gradient Descent), βελτιστοποίηση (optimization). Υπερπροσαρμογή / υποπροσαρμογή (overfitting / underfitting), ομαλοποίηση (regularization). Επαύξηση δεδομένων (data augmentation), κανονικοποίηση παρτίδας (batch normalization). Αρχικοποίηση βαρών, προεπεξεργασία δεδομένων. Επιλογή μοντέλου, ρύθμιση υπερπαραμέτρων (hyperparameter tuning). Επικύρωση μοντέλου (model validation). Συλλογική μάθηση (ensemble learning).
Συνελικτικά Νευρωνικά Δίκτυα (Convolutional Neural Networks) και παραλλαγές.
Ακολουθιακά μοντέλα (sequence models). Επαναληπτικά νευρωνικά δίκτυα (Recurrent Neural Networks – RNN) και παραλλαγές (Gated Recurrent Unit – GRU, Long Short-Term Memory – LSTM, bidirectional LSTM). Μηχανισμός προσοχής (attention), self-attention, multi-head attention. Μετασχηματιστές (transformers), μετασχηματιστές όρασης (vision transformers).
Ανταγωνιστική μάθηση (competitive learning), χάρτες Kohonen. Συσχετιστικά (associative) δίκτυα, δίκτυα Hopfield.
Παραγωγικά μοντέλα (generative models). Περιορισμένες μηχανές Boltzman (Restricted Boltzman Machines), βαθιές μηχανές Boltzman (Deep Boltzman Machines), βαθιά δίκτυα πεποίθησης (Deep Belief Networks). Αυτοκωδικοποιητές (autoencoders), αυτοκωδικοποιητές αποθορυβοποίησης (denoising autoencoders). Αυτοκωδικοποιητές διακυμάνσεων (Variational Autoencoders – VAE). Παραγωγικά ανταγωνιστικά δίκτυα (Generative Adversarial Networks – GAN). Μοντέλα διάχυσης (diffusion models).
Αυτοεπιβλεπόμενη μάθηση (self-supervised learning), αντικρουόμενη μάθηση (contrastive learning). Ημιεπιβλεπόμενη μάθηση (Semi-supervised learning). Μάθηση με μεταφορά (transfer learning), προσαρμογή πεδίου (domain adaptation), multi-task learning, few-shot learning, zero-shot learning.
Ανασκόπηση βασικών εννοιών ενισχυτικής μάθησης (reinforcement learning). Βαθιά ενισχυτική μάθηση, βαθιά δίκτυα-Q (Deep Q-Networks – DQN), double DQN, dueling DQN, noisy DQN και άλλα μοντέλα.
Νευρωνικά Δίκτυα Γράφων (Graph Neural Networks). Ενσωματώσεις κόμβων / γράφων (node / graph embeddings), εκπαίδευση νευρωνικών δικτύων γράφων, συνελικτικά δίκτυα γράφων (Graph Convolutional Networks), δίκτυα γράφων με μηχανισμό προσοχής (Graph Attention Networks).
Επεξηγησιμότητα μοντέλων βαθιάς μάθησης. Εφαρμογές νευρωνικών δικτύων και βαθιάς μάθησης
Αναλυτικές ασκήσεις και εργαστηριακή εξάσκηση στα παραπάνω αντικείμενα (Python και σχετικές βιβλιοθήκες).