
Στοχαστικές Διεργασίες και Βελτιστοποίηση στη Μηχανική Μάθηση
Διδάσκοντες: Βασίλειος Μάγκλαρης
Ώρες Διδασκαλίας - Ώρες εργαστηρίου: 0 - 0
Περιγραφή
Επισκόπηση Αλγορίθμων Βελτιστοποίησης στη Μηχανική Μάθηση: Σχέση Μηχανικής Μάθησης (ML) και Τεχνητής Νοημοσύνης (AI). Επιβλεπόμενη, μη επιβλεπόμενη, ενισχυτική μάθηση. Διακριτικά (Discriminative) & Παραγωγικά (Generative) Μοντέλα, LLMs (Large language Models). Σύνολα δεδομένων Training, Validation & Testing Datasets. Linear & Logistic Regression.
Νευρωνικά Δίκτυα, κανόνας του Hebb. Προσδιορισμός παραμέτρων με επιβλεπόμενη μάθηση, Rosemblatt's Perceptron, Back-Propagation Algorithm.
Μη Επιβλεπόμενη Μάθηση: K -Means Clustering, Ανάλυση Κυρίων Συνιστωσών (Principal Components Analysis - PCA), Self-Organizing Maps (SOM), Autoencoders.
Βασικές Έννοιες Στατιστικής Μηχανικής στη Μηχανική Μάθηση: Αλυσίδες Markov, ταξινόμηση καταστάσεων, πιθανότητες μετάβασης, εξισώσεις Chapman - Kolmogorov, επαναληπτικότητα - παροδικότητα, αναλλοίωτες κατανομές, ασυμπτωτική συμπεριφορά.
Μέθοδοι Monte Carlo προσομοίωσης αλυσίδων Markov, αλγόριθμος Metropolis - Hastings. Προσομοιωμένη Ανόπτηση (Simulated Annealing), δειγματοληψία Gibbs. Παραγωγικά Μοντέλα Μάθησης (Generative Models), Μηχανή Boltzmann, Restricted Boltzmann Machine (RBM), Δίκτυα Πεποίθησης Μεγάλου Βάθους (Deep Belief Nets - DBN).
Ενισχυτική Μάθηση και Δυναμικός Προγραμματισμός: Διαδικασίες Απόφασης Markov (Markov Decision Processes), κριτήριο βελτιστοποίησης Bellman (Bellman’s Optimality Criterion), αλγόριθμοι Δυναμικού Προγραμματισμού (Value & Policy Iteration algorithms). Προσεγγιστικές μέθοδοι δυναμικού προγραμματισμού, Temporal Difference (TD) & Q-Learning.
Ενισχυτική Μάθηση για Δρομολόγηση στο Internet: Αλγόριθμος Bellman - Ford, Border Gateway Protocols (BGP).
Αλγόριθμοι Πυρήνα και Διαχωρισιμότητα Προτύπων: Θεώρημα του Cover, εφαρμογές σε Radial-Basis Function (RBF) Networks, Υβριδική Μάθηση, Support Vector Machines (SVM).
Μη-παραμετρικοί Ταξινομητές, ταξινόμηση σύμφωνα με γνωστές κλάσεις K γειτονικών στοιχείων μάθησης, K -Nearest Neighbors (KNN).
Στατιστική αξιολόγηση δυαδικής ταξινόμησης, Confusion Matrix, Receiver Operating Characteristics (ROC) & Area Under the Curve (AUC), Παραμετρική Πιθανοτική Ταξινόμηση - κανόνας Bayes, προσεγγιστικές μέθοδοι, αλγόριθμος Naïve Bayes.
Δένδρα Αποφάσεων (Decision Trees): Αλγόριθμοι διαμόρφωσης CART (Classification And Regression Trees), Gini Index, Random Forests, αλγόριθμοι Bagging (Bootstrap & aggregating).
Αναδρομικά Νευρωνικά Δίκτυα (Recurrent Neural Nets - RNN): Μοντέλα Συσχετισμένης Μνήμης (Associative Memory ή Content Addressable Memory - CAM), δίκτυα Hopfield, RNNs & ακολουθιακά μοντέλα δεδομένων (time/character series, speech processing), δίκτυα Long-Short Term Memory (LSTM).
Επεξηγησιμότητα Τεχνητής Νοημοσύνης – eXplainable AI (XAI): Ορισμοί, Intrinsic & Model-Agnostic XAI Methods, PI (Permutation Feature Importance), SHAP (Shapley Additive exPlanations), LIME (Local Interpretable Model Agnostic Explanation).