Προπτυχιακές Σπουδές

Εφαρμογή αλγορίθμων Βαθιάς Ενισχυτικής Μάθησης (Deep Reinforcement Learning - DRL) για την κατάλληλη τοποθέτηση και επιλογή Κόμβων Αναμετάδοσης σε Ετερογενή Δίκτυα επόμενης γενιάς (5G και Beyond). (1 Άτομο)
Διπλωματική Εργασία

---

Περιγραφή

Η ανάγκη ταυτόχρονης εξυπηρέτησης πληθώρας χρηστών σε δίκτυα νέας γενιάς (5G/B5G), χωρίς, ωστόσο, επίπτωση στην παροχή υψηλών ρυθμών μετάδοσης και επιπέδων ποιότητας υπηρεσίας και εμπειρίας (Quality of Service – QoS και Quality of Experience – QoE), επιβάλλουν την ανάπτυξη προηγμένων μεθόδων πρόσβασης στο φυσικό μέσο και αποδοτικών τεχνικών μετάδοσης δεδομένων. Επιπλέον, η ανάγκη για υποστήριξη ετερογενών υπηρεσιών και δικτύων σε μικρές περιοχές κάλυψης (πυκνά δίκτυα) καθιστούν αναγκαία τη χρήση τεχνικών, όπως τα μαζικά κεραιοσυστήματα πολλαπλών εισόδων και πολλαπλών εξόδων (Μassive Multiple Input Multiple Output – mMIMO) και τα προηγμένα σχήματα πολλαπλής πρόσβασης στο μέσο (όπως η μη-ορθογώνια πολλαπλή πρόσβαση (Non-Orthogonal Multiple Access - ΝΟΜΑ)).

Στο ίδιο πλαίσιο, η χρήση κόμβων αναμετάδοσης (Relay Nodes - RN), κυρίως στα όρια της περιοχής κάλυψης κάθε κυψέλης, αποσκοπεί στην εύκολη επεκτασιμότητα και διεύρυνση του δικτύου, χωρίς την εγκατάσταση επιπλέον σταθμών βάσης (Base Station - BS). Όταν δε η ενεργοποίηση RN συνδυάζεται με τις προαναφερθείσες τεχνολογίες, οδηγεί σε αυξημένη ενεργειακή και φασματική απόδοση, αλλά και στη δημιουργία πλήθους ασυσχέτιστων καναλιών, τα οποία μπορούν να διατεθούν σε διαφορετικές ομάδες χρηστών. Συνεπώς, ο αριθμός τον εξυπηρετούμενων χρηστών και η περιοχή κάλυψης της κυψέλης αυξάνονται, διατηρώντας σταθερά επίπεδα QoS.

Η Βαθιά Ενισχυτική Μηχανική Μάθηση (Deep Reinforcement Learning - DRL) υπόσχεται ακόμα μεγαλύτερα οφέλη, χάρις στην ικανότητά της, όχι μόνο να επιλύει πολυπαραμετρικά προβλήματα, με ταυτόχρονη μείωση της υπολογιστικής πολυπλοκότητας, αλλά και να αλληλοεπιδρά με το περιβάλλον του δικτύου πρόσβασης. Με αυτόν τον τρόπο, καθίσταται δυνατή η βελτιστοποίηση τόσο των ML μετρικών (accuracy, RMSE, f1-score, etc.) όσο και των δικτυακών μετρικών (throughput, SNIR, QoS, etc.). Στο πλαίσιο αυτό, υπάρχει έντονο ερευνητικό ενδιαφέρον για την υλοποίηση DRL αλγορίθμων σε δύο συναφή προβλήματα. Το πρώτο αφορά στην κατάλληλη επιλογή RN για κάθε χρήστη που δεν εξυπηρετείται από BS, είτε λόγω γεωγραφικών είτε λόγω φασματικών περιορισμών, ενώ το δεύτερο αφορά στην κατάλληλη τοποθέτηση των RN στην περιοχή κάλυψη της κάθε κυψέλης, με στόχο την παροχή υπηρεσίας σε όσους περισσότερους χρήστες.

Στόχος της παρούσης διπλωματικής εργασίας είναι η αξιοποίηση DRL αλγορίθμων (εστιάζοντας σε παραλλαγές της Βαθιάς Q-μάθησης (Deep Q-Learning)) για την επίλυση των παραπάνω προβλημάτων, με παραμετροποίηση ενός ήδη υλοποιημένου στο εργαστήριο link-level προσομοιωτή συστήματος Β5G με πλήθος σταθμών βάσης και RNs. Μετά από μελέτη του θεωρητικού υποβάθρου όσον αφορά στη χρήση RNs αλλά και DRL σε ασύρματα δίκτυα επικοινωνιών επόμενης γενιάς (5G/Β5G), θα αξιολογηθεί καταλλήλως η απόδοση αλγορίθμων Deep Q-learning με χρήση 5G datasets για τη βελτιστοποίηση της επιλογής και τοποθέτησης RNs στην Β5G τοπολογία, αλλά και στην κατανομή των διαθέσιμων ραδιοπόρων.

Απαραίτητες γνώσεις: Βασικές γνώσεις κινητών επικοινωνιών, Βασικές γνώσεις Python.

Επιθυμητές γνώσεις: Αρχές και αρχιτεκτονικές Μηχανικής Μάθησης, Matlab, Python βιβλιοθήκες (Keras/Tensorflow).