Logo
Διδακτορικές Σπουδές

Στοχαστικές Διεργασίες και Βελτιστοποίηση στη Μηχανική Μάθηση

Κωδικός: 722 | Εαρινό Εξάμηνο | Μεταπτυχιακό

Διδάσκοντες: Βασίλειος Μάγκλαρης

Ώρες Διδασκαλίας - Ώρες εργαστηρίου: 0 - 0

Περιγραφή

Επισκόπηση Αλγορίθμων Βελτιστοποίησης στη Μηχανική Μάθηση: Σχέση Μηχανικής Μάθησης (ML) και Τεχνητής Νοημοσύνης (AI). Επιβλεπόμενη, μη επιβλεπόμενη, ενισχυτική μάθηση. Διακριτικά (Discriminative) & Παραγωγικά (Generative) Μοντέλα, LLMs (Large language Models). Σύνολα δεδομένων Training, Validation & Testing Datasets. Linear & Logistic Regression.

Νευρωνικά Δίκτυα, κανόνας του Hebb. Προσδιορισμός παραμέτρων με επιβλεπόμενη μάθηση, Rosemblatt's Perceptron, Back-Propagation Algorithm.

Μη Επιβλεπόμενη Μάθηση: K -Means Clustering, Ανάλυση Κυρίων Συνιστωσών (Principal Components Analysis - PCA), Self-Organizing Maps (SOM), Autoencoders.

Βασικές Έννοιες Στατιστικής Μηχανικής στη Μηχανική Μάθηση: Αλυσίδες Markov, ταξινόμηση καταστάσεων, πιθανότητες μετάβασης, εξισώσεις Chapman - Kolmogorov, επαναληπτικότητα - παροδικότητα, αναλλοίωτες κατανομές, ασυμπτωτική συμπεριφορά.

Μέθοδοι Monte Carlo προσομοίωσης αλυσίδων Markov, αλγόριθμος Metropolis - Hastings. Προσομοιωμένη Ανόπτηση (Simulated Annealing), δειγματοληψία Gibbs. Παραγωγικά Μοντέλα Μάθησης (Generative Models), Μηχανή Boltzmann, Restricted Boltzmann Machine (RBM), Δίκτυα Πεποίθησης Μεγάλου Βάθους (Deep Belief Nets - DBN).

Ενισχυτική Μάθηση και Δυναμικός Προγραμματισμός: Διαδικασίες Απόφασης Markov (Markov Decision Processes), κριτήριο βελτιστοποίησης Bellman (Bellman’s Optimality Criterion), αλγόριθμοι Δυναμικού Προγραμματισμού (Value & Policy Iteration algorithms). Προσεγγιστικές μέθοδοι δυναμικού προγραμματισμού, Temporal Difference (TD) & Q-Learning.

Ενισχυτική Μάθηση για Δρομολόγηση στο Internet: Αλγόριθμος Bellman - Ford, Border Gateway Protocols (BGP).

Αλγόριθμοι Πυρήνα και Διαχωρισιμότητα Προτύπων: Θεώρημα του Cover, εφαρμογές σε Radial-Basis Function (RBF) Networks, Υβριδική Μάθηση, Support Vector Machines (SVM).

Μη-παραμετρικοί Ταξινομητές, ταξινόμηση σύμφωνα με γνωστές κλάσεις K γειτονικών στοιχείων μάθησης, K -Nearest Neighbors (KNN).

Στατιστική αξιολόγηση δυαδικής ταξινόμησης, Confusion Matrix, Receiver Operating Characteristics (ROC) & Area Under the Curve (AUC), Παραμετρική Πιθανοτική Ταξινόμηση - κανόνας Bayes, προσεγγιστικές μέθοδοι, αλγόριθμος Naïve Bayes.

Δένδρα Αποφάσεων (Decision Trees): Αλγόριθμοι διαμόρφωσης CART (Classification And Regression Trees), Gini Index, Random Forests, αλγόριθμοι Bagging (Bootstrap & aggregating).

Αναδρομικά Νευρωνικά Δίκτυα (Recurrent Neural Nets - RNN): Μοντέλα Συσχετισμένης Μνήμης (Associative Memory ή Content Addressable Memory - CAM), δίκτυα Hopfield, RNNs & ακολουθιακά μοντέλα δεδομένων (time/character series, speech processing), δίκτυα Long-Short Term Memory (LSTM).

Επεξηγησιμότητα Τεχνητής Νοημοσύνης – eXplainable AI (XAI): Ορισμοί, Intrinsic & Model-Agnostic XAI Methods, PI (Permutation Feature Importance), SHAP (Shapley Additive exPlanations), LIME (Local Interpretable Model Agnostic Explanation).


/el//en//el/education/undergraduate/info/en/education/undergraduate/info/el/education/undergraduate/courses/en/education/undergraduate/courses/el/education/undergraduate/schedule/en/education/undergraduate/schedule/el/education/undergraduate/quality/en/education/undergraduate/quality/el/education/postgraduate/en/education/postgraduate/el/education/doctoral/info/en/education/doctoral/info/el/education/doctoral/courses/en/education/doctoral/courses/el/education/doctoral/schedule/en/education/doctoral/schedule/el/education/erasmus/en/education/erasmus/el/thesis/search/el/thesis/regulation/el/thesis/contour/el/research/results/en/research/results/el/research/labs/en/research/labs/el/research/iccs/en/research/iccs/el/research/libraries/en/research/libraries/el/staff/academic/faculty/en/staff/academic/faculty/el/staff/academic/emeriti/en/staff/academic/emeriti/el/staff/academic/retired/en/staff/academic/retired/el/staff/laboratory/edip/en/staff/laboratory/edip/el/staff/laboratory/etep/en/staff/laboratory/etep/el/staff/research/iccs/en/staff/research/iccs/el/staff/research/researchAssociate/en/staff/research/researchAssociate/el/staff/research/phd/en/staff/research/phd/el/staff/administrative/permanent/en/staff/administrative/permanent/el/staff/administrative/associates/en/staff/administrative/associates/el/school/history/historicalReview/en/school/history/historicalReview/el/school/history/historyNTUA/en/school/history/historyNTUA/el/school/access/en/school/access/el/school/organization/en/school/organization/el/school/news/en/school/news/el/school/events/en/school/events/el/services/services/en/services/services/el/files/undergraduate/en/files/undergraduate/el/contact/en/contact/el/alumni/register/en/alumni/register/el/cookies/en/cookies/el/announcementsECE Home Page (EL)ECE Home Page (EN)