L’Arcep publie les résultats de son enquête annuelle d’évaluation de la qualité de service des opérateurs mobiles métropolitains. L’enquête de qualité du service mobile se fonde sur plus d’un million de mesures réalisées en 2G, 3G, 4G et 5G dans tous les départements métropolitains, de mi-mai à mi-août 2023, sur les lieux de vie – à l’intérieur et à l’extérieur des bâtiments – et dans les transports (axes routiers, métros et trains).
Il existe des différences significatives de qualité selon les lieux et les opérateurs : l’Arcep invite chacun à les comparer, sur l’outil « Mon réseau mobile », selon le type de zones (denses, intermédiaires ou rurales) où il vit, et en fonction des axes de transport qu’il emprunte.
MESURES DE L’INTERNET MOBILE, QUE RETENIR ?
- L’Arcep fait évoluer ses indicateurs sur les débits descendants : une approche au plus près de la réalité des usages des utilisateurs
Pour mieux correspondre aux types d’usages courants effectués par les utilisateurs avec leur mobile, l’Arcep a voulu repenser la manière dont les indicateurs de qualité de service mobile sont présentés dans son enquête.
Cette nouvelle présentation permet ainsi de mieux informer les consommateurs sur les débits descendants adaptés en fonction de leurs besoins spécifiques, pour lesquels trois seuils ont été retenus :
- 3 Mbit/s : débit adapté aux usages les moins exigeants de l’Internet mobile tels que la navigation Web ;
- 8 Mbit/s : débit adapté aux usages les plus courants, tels que le visionnage vidéo ;
- 30 Mbit/s : débit adapté aux usages les plus exigeants, comme l’utilisation d’outils collaboratifs dans un cadre professionnel.
Ces nouveaux indicateurs de qualité de service mobile reflètent l’expérience des utilisateurs et sont déclinés selon le type de zones (denses, intermédiaires, rurales). Cette approche a également pour bénéfice de ne pas créer d’incitation à une course au débit maximum chez les opérateurs, et de s’inscrire dans la démarche « Pour un numérique soutenable » initiée par l’Arcep.
Pour les seuils de débits descendants « 3 Mbit/s » et « 8 Mbit/s » - toutes zones d’habitation confondues - : Bouygues Telecom, Free Mobile et SFR sont au coude à coude derrière Orange qui présente globalement les meilleurs résultats sur ces indicateurs
En zones denses, Orange et Bouygues Telecom se démarquent en offrant des performances équivalentes
Pour les autres mesures liées à la navigation web et au visionnage de vidéo, les quatre opérateurs fournissent une qualité d’expérience élevée en zones denses.
Concernant le visionnage de vidéo (streaming) en 2G/3G/4G/5G, en zones denses, Bouygues Telecom, Free Mobile, Orange et SFR affichent un taux de 97% des vidéos visionnées en qualité parfaite. En zones rurales, Orange se démarque (89%) devant SFR (85%), Free Mobile (84%) et Bouygues Telecom (82%).
Quant à la navigation web[1], en zones denses, Orange (97% des pages sont affichées en moins de 10 secondes) et Bouygues Telecom (96%) sont suivis de SFR (94%) et Free Mobile (93%). En zones rurales, Orange (84%) est suivi de Free Mobile (78%) et SFR (77%) puis Bouygues Telecom (75%).
MESURES « VOIX ET SMS », QUE RETENIR ?
La qualité de service en 2023 progresse par rapport à 2022
Au niveau national, la qualité vocale progresse en 2023.
Concernant l’indicateur d’appels en qualité parfaite (le taux d’appels maintenus pendant deux minutes et sans perturbations audibles) :
- en zones denses, Orange (96%) et Bouygues Telecom (95%) sont très proches, devançant SFR et Free Mobile (92%).
- en zones intermédiaires, Bouygues Telecom (92%), SFR et Free Mobile (91%) sont désormais au coude à coude, derrière Orange (95%) ; Free progressant de six points dans ce type de zones.
- en zones rurales, la tendance est légèrement différente avec 85% pour Orange, 78% pour SFR et Free Mobile, et 76% pour Bouygues Telecom.
L’indicateur de qualité moyenne des appels progresse pour tous les opérateurs et leurs performances sont comparables : les écarts sont en effet très faibles entre les notes MOS[2] de SFR, Orange, Bouygues Telecom et Free Mobile (4,4 en moyenne sur l’ensemble des zones).
Tous les opérateurs permettent de recevoir un SMS en moins de 10 secondes avec un haut niveau de performance. Free et Orange sont premiers ex aequo (97%) suivis de Bouygues Telecom et SFR (95%).
L’enquête de l’Arcep intègre de nouveaux indicateurs sur la qualité des appels voix réalisés avec une application de messagerie instantanée[3]
En 2023, pour refléter au mieux les nouveaux usages, l’Arcep a intégré pour la première fois des mesures de qualité vocale via une application de messagerie instantanée, dans sa chaîne de mesures. L’Arcep souhaite ainsi fournir une évaluation plus complète de la qualité de services des communications vocales sur les réseaux mobiles.
En communication réussie, tous usages et toutes strates, les quatre opérateurs offrent un très bon niveau de connectivité avec un taux de réussite de 97% pour Orange, 95% pour SFR, 94% pour Bouygues Telecom et 93% pour Free Mobile.
Pour les appels en qualité parfaite (taux d’appels maintenus pendant deux minutes et sans perturbation audible), des écarts se creusent avec 92% de taux de succès pour Orange, 86% pour SFR, et 82% pour Bouygues Telecom. Free est en retrait sur cet indicateur toutes zones et tous usages avec 54% de succès.
À noter :
- Le volume de mesures a été ajusté en proportion de ces usages qui restent encore minoritaires ;
- Seule une plateforme, parmi les plus utilisées, a été testée ;
- Les performances de ces services de communication vocale peuvent varier en fonction des versions et des paramètres individuels.
MESURES « AXES DE TRANSPORT », QUE RETENIR ?
La qualité de service reste à un bon niveau de performance les axes routiers. Elle est en revanche à un niveau moyen dans les TGV, dans les trains des réseaux Intercités et dans les TER.
Qualité de service internet
En moyenne, tous opérateurs confondus, la qualité de service internet sur les routes reste élevée, avec près de 92% des pages web affichées en moins de 10 secondes sur les axes routiers mesurés. La situation est plus contrastée sur les axes ferrés : en effet, il est possible d’afficher une page web en moins de 10 secondes dans seulement 70% des cas en moyenne dans les TGV, les Intercités et les TER. La navigation est plus fluide sur les RER et Transiliens (85%) et les métros (96%)
Au test de navigation web (affichage de pages web en moins de 10 secondes) sur les routes, SFR (92%), Bouygues Telecom et Free Mobile (91%) sont tous les trois proches derrière Orange (95%).
Orange a la meilleure performance sur les axes ferrés de longue distance, avec, dans les TGV, 79% de pages web affichées en moins de 10 secondes, devançant Free Mobile (73%), SFR (65%) et Bouygues Telecom (64%). Dans les trains des réseaux Intercités et dans les Trains Express Régionaux, Orange affiche un taux de succès de 77%, suivi de Free (70%) puis SFR et Bouygues Telecom (66%).
Sur les axes ferrés franciliens (RER et Transiliens), Bouygues Telecom (84%), SFR et Free Mobile (83%) sont derrière Orange qui présente la meilleure performance avec 90% de taux succès sur le web. Sur les métros, trois opérateurs affichent un très bon niveau de performance avec Orange (98%), SFR et Bouygues Telecom (97%) devant Free Mobile (94%).
Qualité des appels (appels maintenus deux minutes)
Concernant les appels sur les routes, Orange (avec 95% de succès) devance SFR (92%) suivi de Bouygues Telecom (90%), Free Mobile étant en retrait avec 85% de succès.
Dans les trains, Orange présente également la meilleure performance dans les TGV, dans les trains des réseaux Intercités et dans les TER, avec 78% des communications maintenues sur les TGV, contre 68% pour Bouygues Telecom, 65% pour SFR et Free Mobile.
Sur le réseau RER et Transiliens, Orange avec 86% et Bouygues Telecom avec 84% devancent SFR (80%) et Free Mobile (78%).
Dans les métros, Bouygues Telecom, Orange (98%) et SFR (97%) arrivent en tête sur les communications maintenues suivis de Free Mobile avec 95%.
Retrouver les mesures en open-data
L’Arcep met à disposition les mesures effectuées lors de cette campagne en open data sur son site et data.gouv.fr.
Documents associés :
- L’outil de visualisation cartographique : monreseaumobile.arcep.fr
- L’open data : https://www.data.gouv.fr/fr/datasets/monreseaumobile
[1] Les pages web testées varie d'une année à l'autre, ce qui peut entraîner des temps de téléchargement plus ou moins longs en raison de la présence d'images haute définition, de scripts complexes, de plugins, widgets, et autres éléments interactifs.
[2] Moyenne sur l’appel maintenu de la note « MOS » (mean opinion score) qui mesure la différence entre l’appel en cours et l’échantillon de référence
[3] Application Over the top - OTT
Annexe 1 : Méthodologie et périmètre de l’enquête de qualité de service mobile
L’enquête de qualité du service mobile se base sur plus d’un million de mesures réalisées en 2G, 3G, 4G et 5G.
Plus d’un million de mesures en 2G, 3G, 4G et 5G, ont été réalisées dans tous les départements métropolitains, de fin mai à mi-août 2023, sur les lieux de vie - à l'intérieur et à l'extérieur des bâtiments - et dans les transports. L’enquête a porté sur les services mobiles les plus répandus : navigation web, lecture de vidéo, transfert de données, SMS et appels vocaux. Les tests réalisés visent à évaluer la performance des réseaux des opérateurs, de manière strictement comparable, et dans des conditions d’usages diversifiées.
Annexe 2 : synthèse des résultats 2G/3G/4G/5G
Clef de lecture : sur les 15 plus grandes agglomérations, 98% des appels pour Orange ont été maintenus pendant 2 minutes, et 95% l’ont été sans perturbations audibles
Appels : taux d’appels maintenus 2 minutes (couleurs claires) et taux d’appels maintenus 2 minutes sans perturbations audibles (couleurs foncées). Les appels sont réalisés entre deux SIM d’un même opérateur (appels « intra-opérateurs ») ;
SMS : taux de SMS reçus en moins de 10 secondes
Qualité vocale : note MOS (mean opinion score) moyenne des appels. Il s’agit d’une évaluation automatisée de la qualité vocale, selon l’algorithme POLQA
Web : taux de pages web chargées en moins de 10 secondes (couleurs claires) et en moins de 5 secondes (couleurs foncées)
Streaming : taux de vidéos visionnées en qualité correcte (couleurs claires) et en qualité parfaite (couleurs foncées)
Débit montant : débit montant moyen, en Mbit/s
Taux de débits ≥ 3 Mbit/s : part des tests de débit présentant un débit moyen supérieur ou égal à 3 Mbit/s
Taux de débits ≥ 8 Mbit/s : part des tests de débit présentant un débit moyen supérieur ou égal à 8 Mbit/s
Taux de débits ≥ 30 Mbit/s : part des tests de débit présentant un débit moyen supérieur ou égal à 30 Mbit/s