Enquête d’évaluation de la qualité de service des réseaux

Pour la sixième année consécutive, l’Autorité de régulation des télécommunications a mené, en concertation avec les opérateurs et les associations de consommateurs et d’utilisateurs, une enquête d’évaluation de la qualité de service des réseaux de téléphonie mobile en France métropolitaine, telle qu’elle peut être perçue au quotidien par les clients des trois opérateurs.

Cette enquête, conduite par Thales Idatys, s’est déroulée sur 6 semaines, entre mi-octobre et fin novembre 2002. Près de 26 000 appels et plus de 1 000 envois de messages courts ont été réalisés, dans les conditions d’utilisation courantes du téléphone mobile.

Principales évolutions par rapport à l’enquête menée en 2001

L’enquête menée en 2002 a évolué sur un certain nombre de points par rapport à celle menée en 2001. Les principales évolutions sont les suivantes :

Concernant les mesures SMS, deux indicateurs supplémentaires sont publiés cette année afin d’affiner l’évaluation du délai de réception des SMS. Il s’agit du taux de messages reçus dans un délai inférieur à 30 secondes et du taux de messages reçus dans un délai compris entre 30 secondes et 2 minutes. En revanche le scénario de mesure " mobile éteint " a été supprimé car il n’a pas montré de différence significative avec le scénario " mobile allumé " qui a été maintenu.

L’enquête menée en 2002 permet, comme en 2001, de rendre compte de l’évolution, heure par heure, de la qualité de service dans les grandes agglomérations. Toutefois, le créneau horaire 21h-22h a été supprimé cette année car l’enquête 2001 n’a pas mis en évidence de phénomène particulier de saturation sur ce créneau, et en raison de la difficulté à réaliser des mesures homogènes entre les usages dans cette tranche horaire.

Les principaux enseignements de l’enquête de cette année

Au vu des résultats de l’enquête, il est possible de tirer plusieurs enseignements :

L’enquête de cette année fait ressortir globalement une amélioration sensible de la plupart des indicateurs, mettant ainsi en évidence les progrès réalisés par les trois opérateurs dans la qualité de leurs réseaux. Après une année de stabilisation malgré une forte croissance du parc en 2001, le taux de communications réussies, maintenues 2 minutes en agglomération s’améliore nettement en 2002 de l’ordre de 2 à 3 % pour se placer aux environs de 98 % ce qui constitue un très bon résultat ;

Les disparités constatées l’an dernier concernant la part des appels de qualité auditive parfaite, en fonction de la localisation géographique, du créneau horaire ou du type d’usage, tendent à se réduire, montrant une meilleure maîtrise par les opérateurs de la charge de leurs réseaux. De même, dans les agglomérations de plus de 400 000 habitants, la différence significative constatée depuis deux ans entre les heures chargées et les heures creuses pour les taux d’échec et de coupure s’estompe fortement ;

Les mesures réalisées sur les SMS font ressortir pour la deuxième année consécutive une excellente fiabilité de ce service, puisque tous les messages émis ont été reçus sans erreur en moins de quelques minutes. De plus, environ 98 % de ces messages ont été reçus en moins de 30 secondes. Ces mesures ouvrent la voie à l’évaluation future de la qualité d’autres services de données (WAP, MMS, …) en technologie GSM, GPRS, voire UMTS ;

Enfin, les résultats des mesures dans les trains de banlieue et les TGV sont en amélioration par rapport à ceux de 2001 ; cependant, la qualité de service y reste largement inférieure à celle constatée en agglomération.

Agglomérations de 20.000 à 50.000 habitants

Cette année, des mesures ont été réalisées à titre expérimental dans cinq agglomérations de 20.000 à 50.000 habitants (Berck, Cavaillon, Dinan, Mont-de-Marsan et Pontarlier) dans les mêmes conditions que celles réalisées dans les autres agglomérations.

L’échantillon d’agglomérations testées est trop petit pour donner des résultats représentatifs de l’ensemble des agglomérations de 20 000 à 50 000 habitants et qui puissent être publiés. Cependant il est possible de donner une indication quant à la qualité de service dans les cinq villes testées : celle-ci est du même ordre que celle mesurée dans les agglomérations plus importantes à l’exception de la part des appels de qualité parfaite qui semble significativement en retrait.

J’invite le lecteur à prendre attentivement connaissance des conditions techniques de l’enquête, notamment la partie relative aux avertissements, avant d’aborder les parties consacrées aux résultats.

L’Autorité engage une réflexion sur les évolutions à apporter pour les prochaines années à l’enquête d’évaluation de la qualité de service, notamment son périmètre et son format de publication.

Paul CHAMPSAUR
Président

Avertissement

Remarques générales

L’objet de cette enquête, menée sur une base annuelle, est d’apprécier la qualité de service des réseaux de téléphonie mobile en France.

Les opérateurs concernés par l’étude, à savoir Orange France, SFR et Bouygues Télécom, ainsi que des associations de consommateurs et d’utilisateurs ont été associés à la définition du cahier des charges de l’étude.

Limites de l’exercice

L'évaluation porte sur la qualité des services de téléphonie mobile perçue par les clients, dans les conditions où ceux-ci les utilisent au quotidien. Toutefois, cette évaluation est menée sur une période limitée, qui demeure donc la seule sur laquelle il est rendu compte du fonctionnement de ces services.

Il convient de souligner que les opérateurs apportent en permanence des améliorations à leur réseau, tant en matière de qualité de service que pour accroître la couverture. Les travaux qu'ils mènent dans ce but peuvent, pendant leur durée d’exécution et sur des zones géographiquement limitées, entraîner une dégradation momentanée de la qualité de service.

Afin notamment de rendre l’étude plus représentative de l’usage des services de téléphonie mobile, chacun des trois réseaux a été testé avec deux mobiles bi-bande correspondant aux meilleures ventes récentes de packs de chaque opérateur.

Les différences de performances existant naturellement entre les mobiles ont pu avoir une incidence, difficile à évaluer, sur les résultats des mesures effectuées sur chaque réseau.

Précision statistique et arrondis

Enfin, il convient de rappeler que, comme dans tout sondage, les résultats de la présente enquête comportent une marge d’imprécision. La précision statistique indiquée en dessous de chaque résultat est l’intervalle qui contient le résultat selon une probabilité de 95%. Toute comparaison entre les différents indicateurs doit donc tenir compte de cet intervalle de confiance.

Par ailleurs, pour être en cohérence avec cette imprécision statistique, les résultats de la présente enquête ont été arrondis au pourcentage le plus proche. Il convient de rappeler que :

la somme de deux résultats arrondis peut être différente de l’arrondi de leur somme,

le produit de deux résultats arrondis peut être différent de l’arrondi de leur produit.

1. Caractéristiques techniques de l’enquête

1. Configuration générale de l’enquête

Les enquêteurs munis de téléphones mobiles et les enquêteurs munis de téléphone fixe s’appellent entre eux sur les différents réseaux de téléphonie mobile à tester. Ils testent l’obtention de l’appel (absence d’échec), le maintien de la communication pendant 2 minutes (absence de coupure) et la qualité auditive de la communication.

Les appels sont passés pour partie du fixe vers le mobile (33%), et pour partie du mobile vers le fixe (67%).

Plusieurs situations d’utilisation sont testées :

en voiture, en situation passager (sans antenne de toit),

en piéton à l’extérieur,timents,

à bord des trains de banlieue,

à bord des TGV.

Un complément de mesures est réalisé pour les SMS (service de messages courts).

Pour toutes les situations d’utilisation, les mesures sont menées simultanément sur les trois réseaux, au même endroit géographique. Chaque réseau est testé par un " binôme " d’enquêteurs, l’un mobile et l’autre fixe. Pour les SMS, les messages sont envoyés simultanément de chaque réseau à tester vers le même réseau et toujours au même endroit géographique.

En voiture, dans les trains de banlieue ou dans les TGV, un kit oreillette est utilisé. En mode piéton, le mobile est tenu à la main.

Les mesures piétons en intérieur (bureaux et habitations privés) sont réalisées en 1^er jour (pièces avec fenêtres), à moins de 3 mètres des ouvertures. Elles sont réparties entre les rez-de-chaussée et les étages de manière équitable, les sous-sols étant exclus.

Les horaires de mesures sont répartis de la manière suivante :

pour les agglomérations de plus de 400 000 habitants : équi-répartition entre 12h et 21h en semaine,

pour les agglomérations de 50 000 à 400 000 habitants : partage entre heures de pointe de 12h à 14h et de 17h à 21h en semaine (50%) et heures creuses de 9h à 12h et de 14h à 17h en semaine (50%),

pour les trains de banlieue : entre 12h et 21h,

pour les TGV : entre 9h et 21h,

pour les SMS : entre 12h et 21h.

Les appels ont été effectués, à même proportion, avec deux types de mobiles bi-bande pour chaque réseau :

NOKIA 3410 et ALCATEL One Touch 311 pour Orange,

NOKIA 3310 et ALCATEL One Touch 311 pour SFR,

NOKIA 3310 et SIEMENS A36 pour Bouygues Télécom.

Le choix des mobiles correspondent aux " packs " les plus vendus de chaque opérateur au cours des mois de mai, juin et juillet 2002.

Pendant tout le déroulement de l’enquête, les opérateurs ne connaissaient ni les jours, ni les lieux où s’effectuaient les mesures. Ils ne connaissaient pas non plus la liste des villes tirées au sort parmi les agglomérations de moins de 400 000 habitants et les abonnements utilisés dans le cadre de l’enquête.

2. Echantillon

L’échantillon a été construit de manière à :

distinguer les différentes catégories de situations (voiture, piéton intérieur, piéton extérieur, zones géographiques, …),

disposer d’un nombre suffisant de mesures dans chaque catégorie en vue d’obtenir une précision statistique satisfaisante,

répartir les mesures, au sein de chaque catégorie, selon des conditions représentatives des utilisations les plus courantes.

Les mesures pour chaque opérateur sont réparties de la manière suivante :

Le nombre total de mesures est de : 8646 appels téléphoniques et 360 SMS pour chaque opérateur.

2.1 Sélection des agglomérations

Les grandes agglomérations, de plus de 400 000 habitants, sont, depuis le recensement de la population française de mars 1999, au nombre de 12 : Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice, Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble. Toutes ont été retenues et testées, en distinguant les " zones très denses " et " autres zones denses " selon les critères suivants :

Zones très denses : centre ville de la ou des communes principales, zones de transit (gares, aéroports), centres d’activités (commerciaux, affaires), axes urbains à très fort trafic et autoroutes dans les limites de l’agglomération,

Autres zones denses : continuum bâti autour de la zone très dense, autres centres villes de plus de 5000 habitants, autres axes urbains au sein de l’agglomération.

Pour les agglomérations 50 000 à 400 000 habitants, un tirage au sort a été effectué selon la même méthode que les années précédentes :

choix d’un nombre d’agglomérations optimal de manière à effectuer, dans chaque agglomération, un nombre de mesures qui soit cohérent avec sa taille,

tirage aléatoire des agglomérations, avec une probabilité fonction logarithmique de la population,

rectification du tirage pour équilibrer les diverses régions du territoire.

Cette méthode de tirage renforce volontairement la représentation des petites agglomérations par rapport à un tirage où chaque agglomération aurait été affectée d’une probabilité proportionnelle à sa population.

Les 20 agglomérations tirées au sort sont par ordre alphabétique : Agen, Albi, Amiens, Angers, Angoulême, Belfort, Béthune, Bourges, Castres, Chambéry, Dijon, Evreux, Le Mans, Limoges, Metz, Montpellier, Rouen, Saint Etienne, Thionville et Troyes.

La sélection des agglomérations est récapitulée dans le tableau suivant :

	Total France		Échantillon
Catégories	Nombre	Population (millions)	Nombre sélectionné	Population (millions)	Représentativité
Plus de 400 000 habitants	12	18,2	12	18,2	100%
50 000 à 400 000 habitants	100	12,3	20	3,4	28%

2.2 Conditions de mesures dans les agglomérations

Après avoir ainsi déterminé la localisation et le nombre des mesures, un certain nombre de conditions supplémentaires ont été prises en compte :

Localisation des mesures

D’une façon générale, l’extension de chaque agglomération testée correspond à la définition de l’INSEE donnant la liste des communes appartenant à l’agglomération.

Les grandes agglomérations de plus de 400 000 habitants sont subdivisées en " zones très denses " et " autres zones denses " comme il est expliqué plus haut. Dans les autres agglomérations, sont distinguées la " ville ", qui est la commune principale, et la " banlieue " qui correspond au reste de l’agglomération.

Mesures en voiture

Dans les grandes agglomérations de plus de 400 000 habitants, le territoire à tester est divisé en zones de surfaces équivalentes, avec un certain nombre d’appels à effectuer. Certains points de passage obligés sont déterminés. Les enquêteurs ajustent leurs parcours en fonction du terrain (circulation et sens interdits), l’objectif étant de couvrir équitablement la zone.

Dans les autres agglomérations, les mesures sont réparties pour 2/3 en ville et 1/3 dans le reste de l’agglomération. Elles sont effectuées sur des parcours incluant les axes principaux et, dans les zones bâties (centre ville, aéroport, gare, lieux touristiques, zones d’activités), avec certains points de passage obligés établis pour chaque agglomération.

Mesures piétons

La répartition des mesures effectuées à pied à l’extérieur et à l’intérieur des bâtiments est donnée par le tableau du début du §2.

Dispositions communes aux mesures piéton en extérieur et en intérieur

Dans les grandes agglomérations de plus de 400 000 habitants, les mesures sont réparties selon le même principe de division en zones de surfaces équivalentes que pour les mesures en voiture. Dans les autres agglomérations, les mesures sont effectuées dans les zones bâties, avec une répartition 2/3 en ville, 1/3 dans le reste de l’agglomération. Partout, il a été évité de faire des mesures aux mêmes endroits que celles effectuées en voiture et ces mesures ont été dispersées le plus possible sur le territoire à tester.

Mesures piétons en extérieur

Les mesures sont faites pour 2/3 en déplacement et 1/3 à l’arrêt. En chaque point mesuré, une seule mesure est réalisée de façon à obtenir la meilleure dispersion géographique. Les emplacements sont choisis parmi les zones fréquentées par les piétons (zones bâties, parcs et jardins, plages, ...).

Mesures piétons en intérieur

Tous les appels sont passés en 1^er jour (pièce avec fenêtre) à moins de 3 mètres des ouvertures, sans se déplacer, aux rez-de-chaussée et dans les étages, les sous-sols étant exclus.

Dans certains lieux publics (gares par exemple) la notion de 1^er jour n’a pas de sens particulier. Les mesures se font alors dans les emplacements fréquentés. Aucune mesure n’est faite en sous-sol.

Les mesures sont réparties selon le type de bâtiment : 50% dans les lieux publics, 30% dans les immeubles de bureaux privés, 20% dans des locaux d’habitation privés.

2.3 Sélection et conditions de mesures dans les trains de banlieue

L’importance du réseau de banlieue est très inégale selon les agglomérations. Seules Paris, Lyon, Marseille-Aix-en-Provence et Lille ont des réseaux de banlieue importants, par rapport à toutes les autres. Les mesures ont donc été réalisées dans ces quatre agglomérations, selon les proportions suivantes : 64% à Paris, 14% à Marseille-Aix-en-Provence, 13% à Lyon et 9% à Lille.

Les différentes positions des enquêteurs dans les rames ont été testées : fenêtre ou couloir, bas ou haut dans les rames, un côté de la voie à l’aller, puis l’autre au retour. Les trois enquêteurs sont toujours groupés pour évaluer les trois réseaux dans les mêmes conditions.

2.4 Sélection et conditions de mesures dans les TGV

Les lignes de TGV testées dans les 2 sens sont : Paris - Lille, Paris - Bordeaux, Paris - Arras, Paris - Lyon, Paris - Rennes, Paris - Nantes, Paris - Calais (Eurostar), et enfin Lille - Lyon.

2.5 Sélection et conditions de mesures pour les SMS

Pour chaque opérateur, les mesures sont réalisées pour des messages SMS envoyés depuis et vers des mobiles du réseau de l’opérateur. Le mobile de réception est situé en zone couverte et reste statique.

Le message SMS envoyé est identique pour tous les opérateurs et pour toutes les mesures. ; il est constitué de 26 caractères remplis par les lettres majuscules de l’alphabet (" ABCD … XYZ "). La durée entre l’émission et la réception du message est mesurée ; le contenu de ce message est aussi vérifié sans erreur lors de sa réception ; et enfin, l’horodatage du message reçu permet d’identifier le message émis de manière certaine. Sur le mobile de réception, le message reçu est effacé avant l’envoi du message suivant.

Les mesures sont réparties aléatoirement et de façon homogène sur l’ensemble des 12 grandes agglomérations et pour tous les opérateurs en même temps. Les séries d’appels sont faits des " NOKIA 3310 " (Bouygues Telecom et SFR) et " NOKIA 3410 " (Orange France) de chaque opérateur vers les " Siemens A36 / Alcatel One Touch 311 " de ces opérateurs (50%) et inversement (50%).

Le scénario retenu cette année est le suivant :

envoi d’un SMS à un mobile allumé situé dans un état de veille : la durée est mesurée entre le moment de l’émission du SMS sur le mobile émetteur et le moment de la réception de celui-ci sur le mobile de réception,

Au-delà d’une durée de 5 minutes, le message est considéré comme non reçu. Tout message non envoyé par refus du réseau est considéré comme non reçu.

3. Notation de la Qualité

La qualité auditive est notée par les enquêteurs mobiles et fixes, selon une échelle à 4 niveaux :

Parfaite : aucune perturbation. Qualité équivalente à celle du réseau fixe.

Acceptable : un peu gêné dans l’écoute par quelques perturbations qui ne gênent toutefois pas la conversation.

Médiocre : fréquemment gêné dans l’écoute par de nombreuses perturbations, mais il est encore possible de se comprendre.

Mauvais : il est très difficile de s’entendre, la conversation est impossible.

Chaque enquêteur, mobile et fixe, porte une appréciation sur les communications maintenues 2 minutes. N’est retenue que l’appréciation la plus sévère des deux.

La particularité du " handover " (cliquetis ou micro blanc lors du changement de cellule) est exclue de l’appréciation de la qualité auditive.

Des dispositions ont été prises à la fois pour garantir une appréciation objective de la qualité de la part des enquêteurs, et pour éviter les divergences d’évaluation et leurs conséquences sur les résultats. Les enquêteurs ont été formés spécifiquement pour identifier les perturbations typiques pouvant survenir sur les réseaux de téléphonie mobile et qualifier les communications de façon rigoureuse.

Les mesures prises pour garantir un étalonnage objectif et homogène de la qualité auditive sont :

formation des enquêteurs pour identifier les perturbations typiques pouvant survenir sur les réseaux mobiles numériques (écho, bruit métallique, souffle, ...),

formation et entraînement à l'étalonnage des qualités auditives d'après des enregistrements sonores (de la campagne de mesures de l’année précédente ou spécifiquement créés) et contrôle de la dispersion des résultats,

campagne de mesures à blanc en situation réelle et analyse : application de procédures, enregistrement des données pour tous les enquêteurs mobiles et fixes, et analyse des résultats,

contrôle par des superviseurs au cours des mesures réelles : écoute discrète semi-aléatoire et contrôle des données enregistrées tout au long de l’enquête,

analyse quotidienne de cohérence des résultats obtenus : divers états de sortie statistiques permettent de noter les divergences d’appréciation de la qualité auditive par enquêteur (fixe et/ou mobile), par mobile, par type d’usage, … et de recalibrer cette appréciation.

permutation des binômes fixes et mobiles sur chaque réseau et entre-eux : lissage des différences d’appréciation de la qualité auditive dans un même groupe et dans des groupes différents.

Avant le début de l’enquête, tous les matériels utilisés ont été vérifiés par le consultant .La vérification consiste à contrôler le bon fonctionnement comme le ferait un usager classique en vérifiant notamment le bon accrochage du réseau, le contrôle de la batterie et les premières communications.

Au cours de l'enquête, l'apparition d'éventuels problèmes de fonctionnement est surveillée en temps réel. S’il en apparaît et qu'ils proviennent du matériel utilisé, les mesures sont marquées de manière spécifique dans la base pour ne pas être prises en compte dans les résultats. Ces mesures sont alors refaites après correction du problème.

4. Calendrier de l’enquête

Les mesures ont été effectuées entre le 21 octobre et le 26 novembre 2002 :

pour les agglomérations de tout type : du 21 octobre au 26 novembre 2002,

pour les trains de banlieue et les TGV : du 21 octobre au 22 novembre 2002,

pour les SMS : du 25 octobre au 21 novembre 2002.

5. Equipes et déroulement de l’enquête

Un chef de projet, deux superviseurs, une assistante, un responsable logistique, un responsable technique et son assistant assurent la formation des équipes, l’organisation des itinéraires, le respect des modes opératoires et le bon déroulement de l’enquête.

Les mesures en agglomérations et SMS sont réalisées par quatre équipes de 7 personnes (1 chauffeur, 3 enquêteurs mobiles, 3 enquêteurs fixes), les mesures dans les trains de banlieue et TGV par une équipe de 6 personnes (3 enquêteurs mobiles et 3 enquêteurs fixes), Au plus fort de l’enquête, 41 personnes ont été mobilisées pour réaliser l’enquête terrain.

Les enquêteurs fixes étaient situés dans le siège social du consultant à Plaisir (Yvelines).

Le travail de chaque équipe est guidé et sécurisé par une application informatique qui notamment rythme les appels et indique le sens de l’appel.

Chaque enquêteur fixe effectue la saisie des résultats de mesures et des repères topographiques, selon ses propres informations et celles que lui communique l’enquêteur mobile pendant les communications.

Les points de mesure sont géopositionnés par un système GPS manuel, ce qui permet de vérifier le respect des consignes concernant les trajets, de repérer les mesures, et d’aider au diagnostic en cas de problème.

Au cours de l’enquête, l’apparition d’éventuels problèmes de fonctionnement affectant anormalement la qualité sur un ou plusieurs réseaux est surveillée en permanence. S’ils proviennent du réseau d’un opérateur et sont non-récurrents, ils sont considérés comme des inconvénients subis par les clients, et les mesures sont prises en compte. S’ils sont récurrents (panne totale d’un réseau dans une zone par exemple), ils sont immédiatement signalés à l’Autorité de Régulation des Télécommunications, qui définit la conduite à tenir (suspendre les mesures puis refaire les mesures par exemple).

Le matériel utilisé par les enquêteurs (mobiles, batteries, chargeurs, kit oreillette) fait l’objet d’une attention particulière des enquêteurs pour éviter que des défaillances puissent influencer les résultats des mesures.

Carte des agglomérations testées

©Autorité de régulation des télécommunications - Février 2003
7, Square Max Hymans - 75730 PARIS Cedex 15
Téléphone : +33 1 40 47 70 00 - Télécopie : +33 1 40 47 71 98