L’Arcep publie les résultats de la 23ème édition de son enquête annuelle d’évaluation de la qualité de service des opérateurs mobiles métropolitains. L’enquête de qualité du service mobile se base sur plus d’un million de mesures réalisées en 2G, 3G, 4G et 5G dans tous les départements métropolitains, de fin mai à fin août 2022, sur les lieux de vie - à l'intérieur et à l'extérieur des bâtiments - et dans les transports.
Il existe des différences significatives de qualité selon les lieux et les opérateurs : l’Arcep invite chacun à les comparer, sur l’outil « Mon réseau mobile », selon la zone (dense, intermédiaire ou rurale) où il vit, et en fonction des axes de transport qu’il emprunte.
MESURES DE L’INTERNET MOBILE, QUE RETENIR ?
- Concernant les services de l’internet mobile, les quatre opérateurs fournissent une qualité d’expérience élevée en zones denses. Orange présente la meilleure qualité d’expérience en zones intermédiaires et rurales.
Concernant la navigation web en 2G/3G/4G, en zone dense, les quatre opérateurs présentent des résultats très élevés au test d’affichage de pages web : elles sont affichées en moins de 10 secondes dans 98% des tentatives pour Orange, 97% pour Bouygues Telecom, 95% pour Free Mobile et 94% pour SFR ; en zone rurale, Orange (90%) est suivi de Free Mobile (86%) puis Bouygues Telecom et SFR (81%).
Quant au visionnage de vidéo (streaming), en zones denses Orange (avec 98% des vidéos visionnées en qualité parfaite), et Bouygues Telecom (97%) sont suivis de Free Mobile (94%) et SFR (93%). En zones intermédiaires, Orange est en tête (96%), avec une avance de plus de 5 points sur Free Mobile (91%), Bouygues Telecom (90%) et SFR (88%). En zone rurale, Orange est également premier (89%) ; Free Mobile se place second (85%), devant Bouygues Telecom et SFR (78%).
En 2G/3G/4G/5G, pour ces mêmes usages, l’expérience utilisateur apparaît similaire à celle obtenue en 2G/3G/4G. La 5G est en effet toujours en cours de déploiement par les opérateurs et son bénéfice immédiat réside surtout dans la capacité supplémentaire qu’elle apporte là où les réseaux mobiles sont fortement sollicités voire saturés. Par ailleurs, en l’état actuel de la 5G dite « non stand-alone », ou « NSA », la 5G dépend encore fortement de la 4G[1]. Dans les années à venir, la 5G a vocation à être déployée en mode « stand-alone », ou « SA », et devenir indépendante du réseau 4G. Enfin, le déploiement 5G continuera d’être optimisé par les opérateurs, à l’instar du réseau 4G qui fait l’objet d’améliorations et de réglages permanents depuis bientôt 10 ans. Cela permettra d’améliorer le confort pour les nouveaux usages du grand public.
- Les débits descendants 3G/4G/5G atteignent en moyenne 94 Mbits/s pour l’ensemble des opérateurs et sont nettement supérieurs aux débits 3G/4G (63 Mbits/s).
Les débits descendants moyens 3G/4G/5G sont significativement plus élevés que ces obtenus en 3G/4G ; cette amélioration est plus marquée qu’en 2021 :
Pour les utilisateurs 2G/3G/4G/5G, Orange propose les meilleurs débits descendants, avec une moyenne de 143 Mbit/s sur l’ensemble de la métropole et de 217 Mbit/s en zone dense. Il est suivi de SFR, avec 84 Mbit/s en moyenne sur toute la métropole et 163 Mbit/s sur les seules zones denses, au même niveau que Bouygues Telecom (84 Mbit/s en métropole, 167 Mbit/s en zone dense). Free ferme la marche sur l’ensemble de la métropole avec 64 Mbit/s en moyenne, avec peu de différences entre les zones denses et les zones intermédiaires ; mais se place second en zones rurales.
Ce classement est similaire pour les utilisateurs 2G/3G/4G, pour lesquels Orange propose les meilleurs débits moyens (89 Mbit/s), suivi de SFR (57 Mbit/s), Bouygues Telecom (55 Mbit/s) et Free Mobile (49 Mbit/s).
A noter cette année, le protocole de l’Arcep de mesure des débits descendants a évolué pour tester différents algorithmes d’évitement de la congestion. Afin de mieux refléter l’évolution de l’usage des utilisateurs, 75 % des tests ont été réalisés avec l’algorithme Cubic et 25 % avec l’algorithme BBR[2].
- Après des années de hausse régulière, plusieurs indicateurs mesurés en 2022 sont en retrait par rapport à 2021 : l’après crise sanitaire et la période estivale de réalisation de l’enquête peuvent expliquer cette baisse
La différence entre les performances observées en 2021 et en 2022 peut s’expliquer par deux phénomènes :
- D’une part, la campagne de mesures 2021 a été réalisée entre les mois de mai et juillet, au sortir d’une période de confinement, lors de laquelle les mouvements de population étaient encore restreints et le réseau mobile moins sollicité. La campagne 2022 a, elle, été réalisée sur une année « habituelle » en termes de charge du réseau.
- D’autre part, la campagne de mesures 2022 a été réalisée entre les mois de juin et août 2022 : en période estivale, les réseaux subissent des pics de fréquentations localisés, notamment en zones touristiques, qui peuvent conduire à une qualité d’expérience moindre pour les utilisateurs.
Focus : pics de chaleurs et comportement des terminaux 5G
La campagne de mesures Internet mobile s’est déroulée de juin à août 2022, durant une période qui a connu de forts pics de chaleurs. Pour éviter une surchauffe et réduire la température interne de l’appareil, certains terminaux 5G sont capables de faire passer toutes les applications en arrière-plan sur le réseau 4G, et de basculer ainsi automatiquement de la 5G vers la 4G, modifiant les performances de l’appareil. Ce phénomène est particulièrement marqué lorsque la température du mobile dépasse 42°C.
Pour prendre en compte ce phénomène de protection des terminaux 5G, l’Arcep a mis en place des mesures préventives sur le terrain pendant l’enquête en privilégiant la réalisation de mesures en matinée dans les agglomérations subissant les périodes de canicules (températures supérieures à 35°C), et décalé certaines des mesures dans des transports non climatisés pour les réaliser en-dehors des semaines les plus chaudes.
En complément, pour mieux refléter la qualité de service apportée par la 5G, l’Arcep a choisi de supprimer les mesures de la chaine compatible 5G dès lors que sur un même point de mesure, les mobiles des opérateurs dépassaient le seuil de 42 °C. Les mesures réalisées avec la chaine de mesures 2G/3G/4G, sur ces points, n’ont pas été supprimées.
MESURES « VOIX ET SMS », QUE RETENIR ?
La qualité de service en 2022 progresse par rapport à 2021
Au niveau national, la qualité vocale progresse en 2022. Concernant le taux d’appels maintenus pendant 2 minutes et sans perturbations audibles, en zones denses, Orange (93%), Bouygues Telecom (93%) et SFR (91%) sont très proches, devançant Free Mobile (87%). La tendance est la même en zones intermédiaires (92% pour Orange, 91% pour Bouygues Telecom, 90% pour SFR et 85% pour Free Mobile) et en zones rurales (83% pour Orange, 80% pour Bouygues Telecom, 79% pour SFR et 75% pour Free Mobile).
En matière de qualité moyenne des appels, les opérateurs obtiennent des résultats très proches : les écarts sont très faibles entre les notes MOS[3] de SFR, Orange, Bouygues Telecom et Free Mobile (3,9 en moyenne sur l’ensemble des zones).
Pour les délais d’établissement d’appels, il faut compter en moyenne 2,8 secondes entre l’émission de l’appel et l’obtention de la sonnerie pour SFR et Bouygues Telecom, 2,9 secondes pour Orange et 3,3 secondes pour Free Mobile.
Tous les opérateurs permettent de recevoir un SMS en moins de 10 secondes très fréquemment, avec peu d’écarts entre Orange (98%), Bouygues Telecom (98%), SFR (97%) et Free Mobile (97%).
MESURES « AXES DE TRANSPORT », QUE RETENIR ?
La qualité de service progresse sur l’ensemble des axes
En moyenne, tous opérateurs confondus, la qualité de service internet sur les routes est élevée, avec près de 95% des pages web affichées en moins de 10 secondes sur les axes routiers mesurés. La situation est plus contrastée sur les axes ferrés : en effet, il est possible d’afficher une page web en moins de 10 secondes dans seulement 81% des cas en moyenne dans les TGV, les Intercités et les TER. La navigation est plus fluide sur les RER et Transiliens (90%) et les métros (95%)
Si l’on s’intéresse aux résultats opérateur par opérateur, Orange présente les meilleurs taux de navigation sur le web sur l’ensemble des axes routiers et ferrés.
Au test d’affichage de pages web en moins de 10 secondes sur les routes, Orange (97%), Bouygues (96%) et SFR (95%) sont suivis de Free Mobile (92%).
Orange a la meilleure performance sur les axes ferrés de longue distance, avec, sur les TGV, 88% de pages web affichées en moins de 10 secondes, devançant Free Mobile (80%) , Bouygues Telecom (79%) et SFR (78%). Et sur les réseaux Intercités et Express Régionaux, Orange affiche un taux de succès de 86%, suivi de Bouygues Telecom (81%) SFR (79%) et Free Mobile (78%).
Sur les axes ferrés franciliens (RER et Transiliens), Orange présente aussi la meilleure performance avec 95% de taux succès sur le web, avec une avance moins marquée, devançant Bouygues Telecom (92%) et SFR (91%), et Free Mobile légèrement distancé avec 83%. Sur les métros, les opérateurs affichent tous les quatre un bon niveau de performance avec Orange (96%), SFR et Bouygues Telecom (95%) devant Free Mobile (92%).
Concernant les appels, c’est Orange et SFR qui sont tous deux au coude à coude sur les routes avec les meilleures performances (95%) pour les appels maintenus pendant deux minutes, contre 93% pour Bouygues Telecom et 89% pour Free Mobile.
Pour les appels dans les trains, la tendance est la même que sur l’internet mobile avec Orange qui a la meilleure performance sur les axes ferrés longue distance avec 81% de communications maintenues sur les TGV, contre 71% pour Bouygues Telecom, 68% pour SFR et 61% pour Free Mobile. Sur le réseau RER et Transiliens, Orange avec 91% et Bouygues Telecom avec 90% devancent SFR (85%) et Free Mobile (82%).
Dans les métros, c’est Bouygues Telecom qui arrive en tête sur les communications maintenues avec 96%, devant Orange (94%) et SFR et Free Mobile (92%).
Retrouver les mesures en open-data
L’Arcep met à disposition les mesures effectuées lors de cette campagne en open data sur son site et data.gouv.fr.
Annexes :
- Annexe 1 : périmètre de l’enquête 2022
- Annexe 2 : synthèse des résultats 2022
Liens :
- L’outil de visualisation cartographique : monreseaumobile.arcep.fr
- L’open data : https://www.data.gouv.fr/fr/datasets/monreseaumobile
[1] Pour plus de détails, voir https://www.arcep.fr/fileadmin/cru-1664269931/user_upload/grands_dossiers/5G/aspects-techniques-5G-imbrication-entre-4G-et-5G.pdf
[2] Pour plus d’informations, voir la page 29 du rapport de l’Arcep sur l’état de l’internet 2022 : https://www.arcep.fr/uploads/tx_gspublication/rapport-etat-internet-2022-300622.pdf#page=29
[3] moyenne sur l’appel maintenu de la note « MOS » (mean opinion score) qui mesure la différence entre l’appel en cours et l’échantillon de référence
Annexe 1 : Méthodologie et périmètre de l’enquête de qualité de service mobile
L’enquête de qualité du service mobile se base sur plus d’un million de mesures réalisées en 2G, 3G, 4G et 5G.
Plus d’un million de mesures en 2G, 3G, 4G et 5G, ont été réalisées dans tous les départements métropolitains, de fin mai à fin août 2022, sur les lieux de vie - à l'intérieur et à l'extérieur des bâtiments - et dans les transports. L’enquête a porté sur les services mobiles les plus répandus : navigation web, lecture de vidéo, transfert de données, SMS et appels vocaux. Les tests réalisés visent à évaluer la performance des réseaux des opérateurs, de manière strictement comparable, et dans des conditions d’usages diversifiées.
Pour les services de l’internet mobile, l’Arcep a mis en œuvre un protocole permettant de tester, sur les mêmes points de mesures, la qualité de service, d’une part, pour un utilisateur n’utilisant que les réseaux 2G, 3G et 4G et, d’autre part, pour un utilisateur ayant un forfait et un téléphone compatibles avec la 5G. Les résultats « 5G » présentés par la suite sont ceux obtenus avec les mesures « compatibles 5G » sur l’ensemble du territoire, afin de mesurer les performances auxquelles un utilisateur peut s’attendre dans son usage quotidien, que son terminal se soit connecté à une antenne 5G ou non.
Annexe 2 : synthèse des résultats 2G/3G/4G
Appels : taux d’appels maintenus 2 minutes (couleurs claires) et taux d’appels maintenus 2 minutes sans perturbations audibles (couleurs foncées). En transports, les appels sont réalisés entre deux SIM d’un même opérateur (appels « intra-opérateurs ») ; en lieux de vie, les appels sont réalisés avec toutes les combinaisons de SIM (appels « intra-opérateurs » et « inter-opérateurs »)
SMS : taux de SMS reçus en moins de 10 secondes
Qualité vocale : note MOS (mean opinion score) moyenne des appels. Il s’agit d’une évaluation automatisée de la qualité vocale, selon l’algorithme POLQA
Web : taux de pages web chargées en moins de 10 secondes (couleurs claires) et en moins de 5 secondes (couleurs foncées)
Streaming : taux de vidéos visionnées en qualité correcte (couleurs claires) et en qualité parfaite (couleurs foncées)
Débit descendant : débit descendant moyen, en Mbit/s
Débit montant : débit montant moyen, en Mbit/s
Taux de débits ≥ 3 Mbit/s : part des tests de débit présentant un débit moyen supérieur ou égal à 3 Mbit/s