| Title: |
Multi-Armed Bandit Learning in IoT Networks: Learning helps even in non-stationary settings ; Apprentissage de Bandit Multi-Bras dans les réseaux Internet des Objets: l'apprentissage est utile même dans des cas non-stationnaires |
| Authors: |
Bonnefoi, Rémi; Besson, Lilian; Moy, Christophe; Kaufmann, Emilie; Palicot, Jacques |
| Contributors: |
Institut d'Électronique et des Technologies du numéRique (IETR); Université de Nantes (UN)-Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes); Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS); Signal, Communication et Electronique Embarquée (SCEE); Institut d'Electronique et de Télécommunications de Rennes (IETR); Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes); Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Ecole Supérieure d'Electricité - SUPELEC (FRANCE)-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes); Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Ecole Supérieure d'Electricité - SUPELEC (FRANCE)-Centre National de la Recherche Scientifique (CNRS); SUPELEC-Campus Rennes; Ecole Supérieure d'Electricité - SUPELEC (FRANCE); CentraleSupélec; Sequential Learning (SEQUEL); Inria Lille - Nord Europe; Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 (CRIStAL); Centrale Lille-Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Centrale Lille-Université de Lille-Centre National de la Recherche Scientifique (CNRS); Université de Rennes (UR); Centre National de la Recherche Scientifique (CNRS); Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 (CRIStAL); Centrale Lille-Université de Lille-Centre National de la Recherche Scientifique (CNRS); This work is supported by the French National Research Agency (ANR), under the projects SOGREEN (grant coded: N ANR-14-CE28-0025-02) and BADASS (N ANR-16-CE40-0002), by Region Bretagne, France, by the French Ministry of Higher Education and Research (MENESR) and ENS Paris-Saclay.; ANR-14-CE28-0025,SOGREEN,Réseau électrique intelligent pour l'amélioration de l'efficacité énergétique des réseaux cellulaires(2014); ANR-16-CE40-0002,BADASS,BANDITS MANCHOTS POUR SIGNAUX NON-STATIONNAIRES ET STRUCTURES(2016) |
| Source: |
CROWNCOM 2017 - 12th EAI International Conference on Cognitive Radio Oriented Wireless Networks ; https://hal.science/hal-01575419 ; CROWNCOM 2017 - 12th EAI International Conference on Cognitive Radio Oriented Wireless Networks, Sep 2017, Lisbon, Portugal. pp.173-185, ⟨10.1007/978-3-319-76207-4_15⟩ ; http://crowncom.org/2017/ |
| Publisher Information: |
HAL CCSD |
| Publication Year: |
2017 |
| Collection: |
Université de Rennes 1: Publications scientifiques (HAL) |
| Subject Terms: |
Multi-Armed Bandits; Internet of Things; Cognitive Radio; Non-Stationary Bandits; Reinforcement Learning; [INFO.INFO-NI]Computer Science [cs]/Networking and Internet Architecture [cs.NI]; [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing |
| Subject Geographic: |
Lisbon; Portugal |
| Description: |
International audience ; Setting up the future Internet of Things (IoT) networks will require to support more and more communicating devices. We prove that intelligent devices in unlicensed bands can use Multi-Armed Bandit (MAB) learning algorithms to improve resource exploitation. We evaluate the performance of two classical MAB learning algorithms, UCB1 and Thompson Sampling, to handle the decentralized decision-making of Spectrum Access, applied to IoT networks; as well as learning performance with a growing number of intelligent end-devices. We show that using learning algorithms does help to fit more devices in such networks, even when all end-devices are intelligent and are dynamically changing channel. In the studied scenario, stochastic MAB learning provides a up to 16% gain in term of successful transmission probabilities, and has near optimal performance even in non-stationary and non-i.i.d. settings with a majority of intelligent devices. ; La mise en place des futurs réseaux Internet des Objets (IoT) nécessitera de supporter de plus en plus d'appareils communicants. Nous prouvons que les objets adaptatifs, dans des bandes non licenciées, peuvent utiliser les algorithmes d'apprentissage de type Bandit Multi-Bras (MAB) pour améliorer l'exploitation des ressources. Nous évaluons les performances de deux algorithmes classiques d'apprentissage MAB, UCB1 et Thompson Sampling, pour prendre en charge la prise de décision décentralisée d'Analyse de Spectre, appliquée aux réseaux IoT, ainsi que les performances d'apprentissage avec un nombre croissant d'objets intelligents. Nous montrons que l'utilisation d'algorithmes d'apprentissage aide à adapter un plus grand nombre de dispositifs dans de tels réseaux, même lorsque tous les appareils finaux sont intelligents et changent de canal de façon dynamique. Dans le scénario étudié, l'apprentissage stochastique (MAB) fournit un gain allant jusqu'à 16% en terme de probabilités de transmission réussie, et a des performances quasi optimales même dans les situations non ... |
| Document Type: |
conference object |
| Language: |
English |
| Relation: |
info:eu-repo/semantics/altIdentifier/arxiv/1807.00491; ARXIV: 1807.00491 |
| DOI: |
10.1007/978-3-319-76207-4_15 |
| Availability: |
https://hal.science/hal-01575419; https://hal.science/hal-01575419v2/document; https://hal.science/hal-01575419v2/file/BBMKP_CROWNCOM_2017.pdf; https://doi.org/10.1007/978-3-319-76207-4_15 |
| Rights: |
http://creativecommons.org/licenses/by-nc-sa/ ; info:eu-repo/semantics/OpenAccess |
| Accession Number: |
edsbas.56BDA999 |
| Database: |
BASE |