La qualité de service des réseaux de téléphonie mobile en France en 2003/2004 , 12 juillet 2004

Téléchargement de l'enquête (pdf)

Editorial de Paul CHAMPSAUR, Président

Pour la septième année consécutive, l’Autorité de régulation des télécommunications a mené, en concertation avec les opérateurs et les associations de consommateurs et d’utilisateurs, une enquête d’évaluation de la qualité de service des réseaux de téléphonie mobile en France métropolitaine, telle qu’elle peut être perçue au quotidien par les clients des trois opérateurs.

Cette enquête, conduite par le cabinet Directique, s’est déroulée sur une période de 6 mois, entre novembre 2003 et mai 2004. Près de 29 000 appels, plus de 1 000 envois de messages courts et près de 5 000 téléchargements de fichiers ont été réalisés dans les conditions d’utilisation courantes du téléphone mobile.

Principales évolutions par rapport à l’enquête menée en 2002

L’enquête menée en 2003-2004 a évolué sur un certain nombre de points par rapport à celle menée en 2002 :

– La durée de l’enquête est passée de 6 semaines en 2002 à 6 mois en 2003 de manière à rendre compte de la qualité de service perçue par les utilisateurs tout au long de l’année,

– Le format de publication a été modifié afin de délivrer des indications conformes à la précision statistique des mesures réalisées et de mieux refléter le positionnement relatif de chaque opérateur. Ainsi, pour chaque indicateur considéré le nouveau format de publication présente d’une part, la moyenne agrégée des résultats des trois opérateurs ainsi que sa précision statistique, et d’autre part, la qualification de la performance de chaque opérateur par rapport à cette valeur de référence,

– Cette année, pour la première fois, des mesures du service de téléchargement de fichiers en mode paquet (GPRS) ont été réalisées à titre expérimental dans les grandes agglomérations (plus de 400.000 habitants). Toutefois, en raison du caractère expérimental de ces mesures, les résultats qui sont publiés cette année de façon agrégée pour les trois opérateurs doivent être considérés avec prudence,

– Suite à l’expérimentation réalisée en 2002, une nouvelle strate géographique composée de 20 agglomérations de 20.000 à 50.000 habitants a été introduite cette année pour les mesures de la qualité de service téléphonique mobile vocal,

– Pour la première fois, la qualité du service téléphonique vocal est mesurée sur les autoroutes et complète ainsi les mesures déjà existantes dans les TGV pour rendre compte de l’usage des utilisateurs sur les grands axes de circulation,

– Les critères d’évaluation de la qualité des communications dans les TGV et dans les trains de banlieue ont été durcis afin de mieux tenir compte de l’usage des consommateurs avec la prise en compte des appels passés dans les tunnels. Par ailleurs, le nombre de lignes TGV mesurées a été augmenté afin d’intégrer notamment la ligne Paris-Marseille.

Les comparaisons entre les résultats des enquêtes 2002 et 2003-2004 doivent, du fait de ces évolutions, ainsi que celles mentionnées au chapitre 3, être faites avec précaution.

Par ailleurs, l’Autorité réfléchit pour les prochaines années à de possibles évolutions de l’enquête d’évaluation de la qualité de service, notamment l’extension de l’évaluation des services de données multimédia mobiles.

Les principaux enseignements de l’enquête de cette année

Au vu des résultats de l’enquête, il est possible de tirer plusieurs enseignements :

– le taux de communications réussies, maintenues 2 minutes en agglomération (hors trains de banlieue) se maintient aux environs de 98 %, confirmant le très bon résultat constaté en 2002. Ce résultat se retrouve dans toutes les strates d’agglomérations mesurées ;

– Les taux de communications réussies et de qualité parfaite en agglomération ressortent globalement entre 89% et 96% en fonction des usages avec un léger avantage pour les agglomérations de taille moyenne entre 50.000 et 400.000 habitants par rapport aux grandes agglomérations de plus de 400.000 habitants et aux petites agglomérations de 20.000 à 50.000 habitants. Cette bonne performance des agglomérations de 50.000 à 400.000 habitants, dont les résultats sont en amélioration par rapport à 2002, montre un effort particulier des opérateurs dans ces zones. Le taux de qualité parfaite dans les grandes agglomérations, qui reste très bon, semble toutefois limité par la forte concentration de trafic.

– confirmant la tendance observée dès l’enquête 2002, on ne constate pas de disparité significative de qualité de service entre les heures pleines et les heures creuses notamment dans les agglomérations de plus de 400.000 habitants, montrant une bonne maîtrise par les opérateurs de la charge de leurs réseaux ;

– Les mesures réalisées pour la première fois cette année sur les autoroutes révèlent un très bon résultat, notamment par rapport aux TGV. Ainsi sur autoroute, le taux de communications réussies et maintenues 2 minutes s’établit à 94%, tandis que 81% des communications sont de qualité parfaite, alors que sur les lignes TGV, ces mêmes taux ressortent seulement à 69% et 54% ;

– Les premières mesures GPRS réalisées à titre expérimental cette année montrent une bonne qualité de ce service dont la montée en puissance est relativement récente. Le taux de connexions réussies au réseau GPRS s’établit à 97% avec un délai moyen de connexion de l’ordre de 8 secondes marquant ainsi une très bonne disponibilité du GPRS. En ce qui concerne le téléchargement de fichiers, le taux de fichiers reçus sans erreur ressort à 93% pour les fichiers de 10 ko comme pour ceux de 100 ko ;

– Les mesures réalisées sur les SMS font ressortir pour la troisième année consécutive une excellente fiabilité de ce service, puisque 99 % de ces messages ont été reçus en moins de 30 secondes ;

J’invite le lecteur à prendre connaissance de la description des conditions techniques de l’enquête, notamment la partie relative aux avertissements, avant d’aborder les parties consacrées aux résultats.

Paul CHAMPSAUR
Président

AVERTISSEMENT

Remarques générales

L’objet de cette enquête, menée sur une base annuelle, est d’apprécier la qualité de service des réseaux de téléphonie mobile en France.

Les opérateurs concernés par l’étude, à savoir Orange France, SFR et Bouygues Télécoms, ainsi que des associations de consommateurs et d’utilisateurs ont été associés à la définition du cahier des charges de l’étude.

Limites de l’exercice

L'évaluation porte sur la qualité des services de téléphonie mobile perçue par les clients, dans les conditions où ceux-ci les utilisent au quotidien. Cette évaluation est menée sur une période de 6 mois.

Il convient de souligner que les opérateurs apportent en permanence des améliorations à leur réseau, tant en matière de qualité de service que pour accroître la couverture. Les travaux qu'ils mènent dans ce but peuvent, pendant leur durée d’exécution et sur des zones géographiquement limitées, entraîner une dégradation momentanée de la qualité de service.

Afin notamment que l’étude soit la plus représentative de l’usage des services de téléphonie mobile, chacun des trois réseaux a été testé avec un mobile bi-bande correspondant aux meilleures ventes récentes de packs de chaque opérateur.

Précision statistique et arrondis

Enfin, il convient de rappeler que, comme dans tout sondage, les résultats de la présente enquête comportent une marge d’imprécision. La précision statistique indiquée en dessous de chaque résultat est l’intervalle qui contient le résultat selon une probabilité de 95%. Toute comparaison entre les différents indicateurs doit donc tenir compte de cet intervalle de confiance.

Par ailleurs, pour être en cohérence avec cette imprécision statistique, les résultats de la présente enquête ont été arrondis au pourcentage le plus proche. Il convient de rappeler que :

• la somme de deux résultats arrondis peut être différente de l’arrondi de leur somme,
• le produit de deux résultats arrondis peut être différent de l’arrondi de leur produit.

1. Configuration générale de l’enquête

Les enquêteurs munis de téléphones mobiles et les enquêteurs munis de téléphone fixe s’appellent entre eux sur les différents réseaux de téléphonie mobile à tester. Ils testent l’obtention de l’appel (absence d’échec), le maintien de la communication pendant 2 minutes (absence de coupure) et la qualité auditive de la communication.

Les appels sont passés pour partie du fixe vers le mobile (33%), et pour partie du mobile vers le fixe (67%).

Plusieurs situations d’utilisation sont testées :

• en voiture, en situation passager (sans antenne de toit),
• en piéton à l’extérieur,
• en piéton à l’intérieur de bâtiments,
• à bord des trains de banlieue,
• à bord des TGV.

Un complément de mesures est réalisé pour le service de messages courts SMS et le service de transmission de données GPRS, en mode téléchargement de fichiers FTP, réalisé pour la première fois cette année, à titre expérimental.

Pour toutes les situations d’utilisation, les mesures sont menées simultanément sur les trois réseaux, au même endroit géographique. Chaque réseau est testé par un " binôme " d’enquêteurs, l’un mobile et l’autre fixe.

En voiture, dans les trains de banlieue ou dans les TGV et en mode piéton, un kit oreillette est utilisé.

Les mesures piétons en intérieur (bureaux et habitations privés) sont réalisées en 1^er jour (pièces avec fenêtres), à moins de 3 mètres des ouvertures. Elles sont réparties entre les rez-de-chaussée et les étages de manière équitable, les sous-sols étant exclus.

Pour les tests SMS, les messages sont envoyés simultanément de chaque réseau à tester vers le même réseau, au même endroit géographique.

Pour les tests de téléchargement FTP, on procède à une connexion GPRS puis on télécharge un fichier d’une taille de 10 Ko ou de 100 Ko en fonction de l’indicateur mesuré, depuis un serveur FTP dédié à cette opération. Ces mesures sont réalisées à l’aide d’un automate qui simule les actions d’un utilisateur.

Les horaires de mesures sont réparties de la manière suivante :

• pour les agglomérations de plus de 400.000 habitants : répartition homogène entre les 4 créneaux horaires 9h-12h, 12h-15h, 15h18h, 18h-21h en semaine,
• pour les agglomérations de 50.000 à 400.000 habitants : partage entre heures de pointe de 12h à 15h et de 18h à 21h en semaine (50%) et heures creuses de 9h à 12h et de 15h à 18h en semaine (50%),
• pour les agglomérations de 20.000 à 50.000 habitants : entre 9h et 21h
• pour les trains de banlieue : entre 9h et 21h,
• pour les TGV : entre 9h et 21h,
• pour les autoroutes : entre 9h et 21h,
• pour les SMS et les téléchargements FTP sur GPRS : entre 9h et 21h.

Pour les tests de téléphonie des services voix et SMS, chaque réseau a été testé avec le terminal bi-bande le plus vendu de l’opérateur au cours du premier semestre 2003 : il s’agit du terminal Nokia 3410 pour les trois opérateurs.

Pour les mesures du service de téléchargement de fichiers en mode GPRS, chaque réseau a été testé avec le terminal GPRS le plus vendu de l’ opérateur : il s’agit du terminal Sagem MyX-5m pour les trois opérateurs.

Pendant tout le déroulement de l’enquête, les opérateurs ne connaissaient ni les jours, ni les lieux où s’effectuaient les mesures. Ils ne connaissaient pas non plus la liste des villes tirées au sort parmi les agglomérations de moins de 400.000 habitants et les abonnements utilisés dans le cadre de l’enquête.

2. Echantillon

L’échantillon a été construit de manière à :

• distinguer les différentes catégories de situations (voiture, piéton intérieur, piéton extérieur, zones géographiques, …),
• disposer d’un nombre suffisant de mesures dans chaque catégorie en vue d’obtenir une précision statistique satisfaisante,
• répartir les mesures, au sein de chaque catégorie, selon des conditions représentatives des utilisations les plus courantes.

Les mesures pour chaque opérateur sont réparties de la manières suivante :

	SMS	GPRS (FTP)
Nombre de mesures	400 mesures	1 600 mesures dont 800 téléchargements de 10 Ko et 800 de 100 Ko

Le nombre total de mesures est de : 9600 appels téléphoniques, 400 SMS et 1600 téléchargements FTP pour chaque opérateur.

2.1 Sélection des agglomérations

Les grandes agglomérations, de plus de 400.000 habitants, sont au nombre de 12 : Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice, Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble. Toutes ont été retenues et testées, en distinguant les " zones très denses " et " autres zones denses " selon les critères suivants :

Zones très denses : centre ville de la ou des communes principales, zones de transit (gares, aéroports), centres d’activités (commerciaux, affaires), axes urbains à très fort trafic et autoroutes dans les limites de l’agglomération,

Autres zones denses : continuum bâti autour de la zone très dense, autres centres villes de plus de 5.000 habitants, autres axes urbains au sein de l’agglomération.

Pour les agglomérations de 50.000 à 400.000 habitants, un tirage au sort a été effectué selon la même méthode que les années précédentes :

• choix d’un nombre d’agglomérations optimal de manière à effectuer, dans chaque agglomération, un nombre de mesures qui soit cohérent avec sa taille,
• tirage aléatoire des agglomérations, avec une probabilité fonction logarithmique de la population,
• rectification du tirage pour équilibrer les diverses régions du territoire.

Cette méthode de tirage renforce volontairement la représentation des petites agglomérations par rapport à un tirage où chaque agglomération aurait été affectée d’une probabilité proportionnelle à sa population.

Pour les agglomérations de 20.000 à 50.000 habitants, le tirage au sort a été effectué avec une même probabilité pour chaque agglomération, puis rectification pour équilibrer les diverses régions du territoire.

Les 20 villes tirées au sort pour les agglomérations de 50.000 à 400.000 habitants sont par ordre alphabétique : Angers, Arcachon, Bergerac, Béziers, Bourges, Châteauroux, Cluses, Dijon, Elbeuf, Evreux, Forbach, Haguenau, Le Mans, Metz, Montbéliard, Niort, Perpignan, Poitiers, Saint-Chamond, Saint-Etienne.

Les 20 villes tirées au sort pour les agglomérations 20.000 à 50.000 habitants sont par ordre alphabétique : Auch, Cahors, Carcassonne, Cognac, Dieppe, Dinan, Epernay, Eu, Goussainville, Guebwiller, La Roche Sur Yon, Lattes, Le Creusot, Les Sables d'Olonne, L'Isle Sur La Sorgue, Mazamet, Merville, Montereau Fault Yonne, Roussillon, Sallanches.

La sélection des agglomérations est récapitulée dans le tableau suivant :

2.2 Conditions de mesures dans les agglomérations

Après avoir ainsi déterminé la localisation et le nombre des mesures, un certain nombre de conditions supplémentaires ont été prises en compte :

• Localisation des mesures

D’une façon générale, l’extension de chaque agglomération testée correspond à la définition de l’INSEE donnant la liste des communes appartenant à l’agglomération.

Les grandes agglomérations de plus de 400.000 habitants sont subdivisées en " zones très denses " et " autres zones denses " comme il est expliqué plus haut. Dans les autres agglomérations, sont distinguées la " ville ", qui est la commune principale, et la " banlieue " qui correspond au reste de l’agglomération.

• Mesures en voiture

Dans les grandes agglomérations de plus de 400.000 habitants, le territoire à tester est divisé en zones de surfaces équivalentes, avec un certain nombre d’appels à effectuer. Les enquêteurs ajustent leurs parcours en fonction du terrain (circulation et sens interdits), l’objectif étant de couvrir équitablement la zone.

Dans les autres agglomérations, les mesures sont réparties pour 2/3 en ville et 1/3 dans le reste de l’agglomération. Elles sont effectuées sur des parcours incluant les axes principaux et dans les zones bâties (centre ville, aéroport, gare, lieux touristiques, zones d’activités). Comme chaque année, il est tenu le plus grand compte des impératifs de sécurité routière.

• Mesures piétons

Dispositions communes aux mesures piéton en extérieur et en intérieur

Dans les grandes agglomérations de plus de 400.000 habitants, les mesures sont réparties selon le même principe de division en zones de surfaces équivalentes que pour les mesures en voiture. Dans les autres agglomérations, les mesures sont effectuées dans les zones bâties, avec une répartition 2/3 en ville, 1/3 dans le reste de l’agglomération. Partout, il a été évité de faire des mesures aux mêmes endroits que celles effectuées en voiture et ces mesures ont été dispersées le plus possible sur le territoire à tester.

Mesures piétons en extérieur

Les mesures sont faites pour 2/3 en déplacement et 1/3 à l’arrêt. En chaque point mesuré, une seule mesure est réalisée de façon à obtenir la meilleure dispersion géographique. Les emplacements sont choisis parmi les zones fréquentées par les piétons (zones bâties, parcs et jardins, plages, ...).

Mesures piétons en intérieur

Tous les appels sont passés en 1^er jour (pièce avec fenêtre) à moins de 3 mètres des ouvertures, sans se déplacer, aux rez-de-chaussée et dans les étages, les sous-sols étant exclus.

Dans certains lieux publics (gares par exemple) la notion de 1^er jour n’a pas de sens particulier. Les mesures se font alors dans les emplacements fréquentés. Aucune mesure n’est faite en sous sol.

Les mesures sont réparties, selon le type de bâtiment : 50% dans les lieux publics, 20% dans les immeubles de bureaux privés, 30% dans des locaux d’habitation privés. La dispersion des mesures est assurée de la façon suivante :

• dans les lieux publics de grande superficie : 3 à 4 mesures ;
• dans les lieux publics de petite surface : 2 mesures ;
• dans les lieux privés (bureaux ou habitations) : 2 à 4 mesures selon la surface, réparties dans l’ensemble du bâtiment, entre étages et pièces.

2.3 Sélection et conditions de mesures dans les trains de banlieue

L’importance du réseau de banlieue est très inégale selon les agglomérations. Seules Paris, Lyon, Marseille-Aix-en-Provence et Lille ont des réseaux de banlieue importants, par rapport à toutes les autres. Les mesures ont donc été réalisées dans ces quatre agglomérations, selon les proportions suivantes : 64% à Paris, 14% à Marseille-Aix-en-Provence, 13% à Lyon et 9% à Lille.

Les différentes positions des enquêteurs dans les rames ont été testées : fenêtre ou couloir, bas ou haut dans les rames, un côté de la voie à l’aller, puis l’autre au retour. Les trois enquêteurs sont toujours groupés pour évaluer les trois réseaux dans les mêmes conditions.

2.4 Sélection et conditions de mesures dans les TGV

Les lignes de TGV testées sont : Paris - Lille, Paris - Bordeaux, Paris - Arras, Paris - Marseille, Paris - Lyon, Paris - Rennes, Paris - Nantes, Paris - Calais (Eurostar), et Lille - Lyon.

Les tests se font en variant les positions des enquêteurs dans les rames : fenêtre ou couloir, bas ou haut dans les rames, un côté de la voie à l’aller, puis l’autre au retour. Les trois enquêteurs sont toujours groupés pour évaluer les trois réseaux dans les mêmes conditions.

2.5 Sélection et conditions de mesures sur autoroutes

Les autoroutes testées sont : A1 de Paris à Lille, A4 de Paris à Strasbourg, A6 de Paris à Lyon, A7 de Lyon à Marseille, A8 de Marseille à Nice, A9 d’Orange à Perpignan, A10 de Paris à Bordeaux, A11 de Paris à Nantes, A13 de Paris à Caen, A61-A62 de Bordeaux à Narbonne.

Les tests sont réalisés par une équipe de 7 personnes (4 embarquées dont un chauffeur et 3 fixes). Les véhicules ne sont munis ni de " kit d’adaptation " ni d’antenne de toit. Comme chaque année, il est tenu le plus grand compte des impératifs de sécurité routière.

2.6 Sélection et conditions de mesures pour les SMS

Pour chaque opérateur, les mesures sont réalisées en envoyant des messages SMS depuis et vers des mobiles du réseau de l’opérateur. Le mobile de réception est situé en zone couverte et reste statique.

Le message SMS envoyé est identique pour tous les opérateurs et pour toutes les mesures. ; il est constitué de 26 caractères remplis par les lettres majuscules de l’alphabet (" ABCD … XYZ "). La durée entre l’émission et la réception du message est mesurée ; on vérifie que le contenu du message est sans erreur lors de sa réception ; enfin, l’horodatage du message reçu permet d’identifier le message émis de manière certaine.

Les mesures sont réparties aléatoirement et de façon homogène sur l’ensemble des 12 grandes agglomérations et pour tous les opérateurs en même temps.

Les messages sont envoyés depuis le terminal " Nokia 3410 " de chaque opérateur vers un autre terminal " Nokia 3410 " du même opérateur, allumé en état de veille.

Le délai de transmission du message est mesuré entre le moment de l’émission du SMS sur le mobile émetteur et le moment de la réception de celui-ci sur le mobile de réception.

Au delà d’une durée de 5 minutes, le message est considéré comme non reçu. Tout message non envoyé par refus du réseau est considéré comme non reçu.

2.7 Mesures de la qualité du service de téléchargement de données sur le réseau GPRS réalisées à titre expérimental

Une mesure consiste, sur chacun des réseaux testés, à :

• tenter une connexion au réseau GPRS, et mesurer le délai d’établissement de la liaison, ou noter l’échec éventuel ;
• puis à tenter de télécharger un fichier, et mesurer son délai de téléchargement, ou noter l’échec éventuel (en distinguant les échecs de connexion au serveur FTP, de coupure en cours de communication, et les abandons hors délai) ;
• et à vérifier l’intégrité du fichier, s’il est entièrement téléchargé.

Au delà d’une durée de 2 minutes, pour le fichier de 10 Ko et de 4 minutes pour le fichier de 100 Ko, le téléchargement est abandonné et considéré comme échoué.

Le protocole de transfert de fichier utilisé est le protocole FTP.

Les mesures ont été réalisées à l’aide d’un automate de test développé par le consultant. Le serveur FTP appelé est dédié à cette opération et est relié à Internet par un lien xDSL largement dimensionné. Toutefois il convient de souligner que cette architecture de test n’est pas nécessairement représentative et peut introduire un impact sur les résultats par rapport notamment à une situation dans laquelle le serveur serait situé directement chez un hébergeur et non derrière un lien xDSL.

L’automate fournit un fichier résultat et un journal des évènements. Ce dernier permet de rechercher a posteriori les causes techniques des erreurs subies par les utilisateurs.

La localisation et la répartition géographique des mesures est la même que pour les SMS. Les mesures sont réalisées en statique.

Le nombre de mesures visé était de 1.600, réparties pour moitiés entre les fichiers de 10 Ko et de 100 Ko.

3. Notation de la Qualité auditive

La qualité auditive est notée par les enquêteurs mobiles et fixes, selon une échelle à 4 niveaux :

Parfaite : aucune perturbation. Qualité équivalente à celle du réseau fixe.

Acceptable : un peu gêné dans l’écoute par quelques perturbations qui ne gênent toutefois pas la conversation.

Médiocre : fréquemment gêné dans l’écoute par de nombreuses perturbations, mais il est encore possible de se comprendre.

Mauvais : il est très difficile de s’entendre, la conversation est impossible.

Chaque enquêteur, mobile et fixe, porte une appréciation sur les communications maintenues 2 minutes. N’est retenue que l’appréciation la plus sévère des deux.

La particularité du " handover " (cliquetis lors du changement de cellule) est exclue de l’appréciation de la qualité auditive.

Des dispositions ont été prises à la fois pour garantir une appréciation objective de la qualité de la part des enquêteurs, et pour éviter les divergences d’évaluation et leurs conséquences sur les résultats. Les enquêteurs ont été formés spécifiquement pour identifier les perturbations typiques pouvant survenir sur les réseaux de téléphonie mobile et qualifier les communications de façon rigoureuse.

Les dispositions prises pour garantir un étalonnage objectif et homogène de la qualité auditive sont :

• formation des enquêteurs pour identifier les perturbations typiques pouvant survenir sur les réseaux mobiles numériques (écho, bruit métallique, handover, souffle, ...),
• formation et entraînement à l'étalonnage de la qualité auditive d'après des enregistrements sonores, et contrôle de la dispersion des résultats,
• campagne de mesures à blanc en situation réelle et analyse : application de procédures, enregistrement des données pour tous les enquêteurs mobiles et fixes, et analyse des résultats,
• contrôle par des superviseurs au cours des mesures réelles : écoute discrète aléatoire et contrôle des données enregistrées tout au long de l’enquête,
• analyse quotidienne de la cohérence des résultats obtenus : divers états de sortie statistiques permettent de détecter d’éventuelles divergences de notation de la qualité auditive, selon les enquêteurs, les terminaux, etc., et d’intervenir en cas d’anomalie,
• permutation des binômes d’enquêteurs fixes et mobiles sur chaque réseau et entre-eux, pour éliminer tout biais résiduel d’appréciation de la qualité auditive dans un même groupe et dans des groupes différents.
• Avant le début de l’enquête, tous les matériels utilisés ont été vérifiés par le consultant .La vérification consiste à contrôler le bon fonctionnement comme le ferait un usager classique en vérifiant notamment le bon accrochage du réseau, le contrôle de la batterie et les premières communications.
• Au cours de l'enquête, l'apparition d'éventuels problèmes de fonctionnement est surveillée en temps réel. S’il en apparaît et qu'ils proviennent du matériel utilisé, les mesures sont marquées de manière spécifique dans la base pour ne pas être prises en compte dans les résultats. Ces mesures sont alors refaites après correction du problème.
  
  

4. Calendrier de l’enquête

Pour les agglomérations de tous types, les trains de banlieue et les TGV , les autoroutes et les SMS et téléchargements FTP, les mesures ont été effectuées entre le 14 novembre 2003 et le 27 avril 2004.

5. Equipes et déroulement de l’enquête

Un chef de projet et un superviseur assurent la formation des équipes, l’organisation des itinéraires, le respect des modes opératoires et le bon déroulement de l’enquête.

Les mesures en voiture sont réalisées par une équipe de 7 personnes (1 chauffeur, 3 enquêteurs mobiles, 3 enquêteurs fixes), les mesures dans les trains de banlieue par une équipe de 6 personnes (3 enquêteurs mobiles et 3 enquêteurs fixes), les mesures dans les TGV par une équipe de 6 personnes (3 enquêteurs mobiles et 3 enquêteurs fixes) et les mesures des SMS par deux équipes de 2 enquêteurs mobiles.

Les mesures en voiture en agglomération et sur autoroute sont réalisées par une équipe de 7 personnes (4 embarquées dont un chauffeur et 3 fixes). Chaque enquêteur teste un seul réseau. Les appels sont passés simultanément sur l’ensemble des trois réseaux. L’emplacement des mobiles dans le véhicule, ainsi que les enquêteurs sont permutés par ½ journées.

Les mesures piéton sont effectuées, selon les cas, soit par un binôme de 2 enquêteurs (1 mobile et 1 fixe), qui testent chaque réseau successivement, en veillant à ce que les conditions soient identiques, soit par les binômes des équipes voiture qui testent alors simultanément les 3 réseaux.

Les mesures dans les trains sont réalisées par des équipes de 6 personnes (3 voyageurs et 3 fixes). Les mesures se déroulent alors comme en voiture. Les emplacements des enquêteurs et des mobiles sont permutés au moins tous les quarts d’heure.

Les enquêteurs fixes étaient situés dans le siège social du consultant à Paris 14ème.

Le travail de chaque équipe est guidé et sécurisé par une application informatique qui notamment rythme les appels et indique le sens de l’appel.

Chaque enquêteur fixe effectue la saisie des résultats de mesures et des repères topographiques, selon ses propres informations et celles que lui communique l’enquêteur mobile pendant les communications.

Les positions en voiture sont repérées par un système de localisation GPS automatique, et celles à pied par un système de localisation GPS manuel, ce qui permet de vérifier le respect des consignes concernant les trajets, de repérer les mesures, et d’aider au diagnostic en cas de problème.

Au cours de l’enquête, l’apparition d’éventuels problèmes de fonctionnement affectant anormalement la qualité sur un ou plusieurs réseaux est surveillée en permanence. S’ils proviennent du réseau d’un opérateur, ils sont considérés comme des inconvénients subis par les clients, et les mesures sont prises en compte.

Le matériel utilisé par les enquêteurs (mobiles, batteries, chargeurs, kit oreillette) fait l’objet d’une attention particulière des enquêteurs pour éviter que des défaillances puissent influencer les résultats des mesures.

Les mesures SMS sont effectuées par les équipes voiture, chaque testeur opérant sur un réseau, afin que les mesures soient simultanées sur les 3 réseaux.

Les mesures GPRS sont effectuées à l’aide d’automates installés à poste fixe dans un emplacement choisi pour sa bonne réception radio sur les trois réseaux. Ces automates sont gérés par les équipes piétons lors de leur passage dans chacune des grandes agglomérations.

Carte des agglomérations testées

2. Résultats de l’enquête

Définitions

1. Définitions des indicateurs de qualité de service

Les définitions retenues pour les communications vocales sont résumées dans le tableau ci dessous :

Les taux de communications correctes, parfaites ou acceptables sont calculés sur la base du nombre total de tentatives de communications.

Les définitions retenues pour le service de messages courts (SMS) sont :

Les trois indicateurs sont calculés sur la base du nombre total de tentatives d’envoi de message.

Les définitions retenues pour le service de transmission de données GPRS sont :

Le délai moyen de connexion au réseau GPRS est calculé sur la base des connexions réussies.

Le délai moyen de téléchargement est calculé sur la base des fichiers reçus.

Le délai d’établissement de la connexion FTP après établissement de la connexion GPRS et préalablement au téléchargement du fichier n’est pas pris en compte.

2. Définition de la mesure

Pour les communications vocales, une mesure consiste à tenter d’établir une communication vocale, puis à évaluer la qualité auditive de la conversation, sur chacun des réseaux testés. Une mesure sur trois réseaux porte ainsi sur trois communications, qu’elles aient abouti ou non.

Pour le service de messages courts (SMS), une mesure consiste à tenter d’émettre un message, puis à mesurer le délai de réception et à vérifier son contenu, sur chacun des réseaux testés. Une mesure sur trois réseaux porte ainsi sur trois messages, qu’ils aient abouti ou non.

Pour le service FTP une mesure consiste à tenter une connexion au réseau GPRS et à tenter de télécharger un fichier depuis un serveur, puis à mesurer le délai d’établissement de la connexion et le délai de téléchargement du fichier, et à vérifier l’intégrité du fichier, sur chacun des réseaux testés. Une mesure sur trois réseaux porte ainsi sur trois fichiers, qu’ils aient étés reçus ou non.

Résultats agrégés des tests des services mobiles

Présentation des tableaux

Pour chaque indicateur, le résultat est présenté sur la base, d’une part d’une valeur de référence choisie comme étant la moyenne agrégée pour les trois opérateurs, et d’autre part de la qualification de la performance de chaque opérateur autour cette valeur selon les cinq niveaux : très inférieur, inférieur, voisin, supérieur, très supérieur à la valeur de référence.

De plus, une comparaison avec les résultats de l’enquête 2002 tenant compte de la précision statistique de ces mesures est présente lorsqu’elle est pertinente, sous forme d’un signe (+) ou (-) accolé au résultat indiquant le cas échéant une amélioration ou une dégradation par rapport à l’année précédente, et ce pour la valeur moyenne comme pour les performances individuelles des opérateurs.

Ecarts par rapport à la valeur de référence

La valeur de référence est la moyenne des résultats des trois opérateurs sur l’indicateur considéré.

Chaque opérateur est qualifié en fonction de la valeur de l’écart (e) entre son résultat (t) et la valeur de référence (m), sur 5 niveaux : très inférieur, inférieur, voisin, supérieur, très supérieur à la valeur de référence.

Les seuils qui déterminent ces niveaux prennent en compte la précision statistique des résultats, car les écarts ne sont significatifs que s’ils sont supérieurs à l’incertitude. Les seuils s1 et s2 sont calculés selon les formules suivantes : s1= Max(1% ; 1.645*√[t*(1-t)/n]) et s2 = 4% (t est la valeur de l’indicateur considéré, et n le nombre de mesures réalisées pour cet indicateur). Les niveaux sont alors définis par rapport à ces seuils :

• Si e <= -s2 : " Très inférieur à la valeur de référence "

• Si -s2 < e <= -s1 : " Inférieur à la valeur de référence "

• Si -s1 < e <= s1 : " Voisin de la valeur de référence "

• Si s1 < e <= s2 : " Supérieur à la valeur de référence"

• Si e >= s2 : " Très supérieur à la valeur de référence"

Comparaison avec l’année 2002

Pour chaque opérateur et pour chaque indicateur, si une comparaison avec l’année précédente est possible, (c’est à dire quand le périmètre et la méthode de mesure est identique), l’évolution par rapport à l’année précédente est indiquée par un signe accolé au nom de l’opérateur ou de la moyenne mesurée.

Ce signe est déterminé en fonction de l’écart entre la valeur (t2) de l'indicateur de cette année par rapport à l'année précédente (t1), selon un seuil Δ qui prend en compte la précision statistique des résultats : Δ=Max(1% ; 1.645*√[p*(1-p)*(1/n1+1/n2]) où p est le résultat moyen des 2 années = (n1*t1+n2*t2)/(n1+n2), et n1 et n2 les nombres de mesures de chacune des deux années.

• signe (+) = amélioration supérieure à Δ 

• pas de signe = indétermination (écart inférieur à Δ)

• signe (-) = dégradation supérieure à Δ

I . Service de voix dans les agglomérations

I.1 Grandes agglomérations (Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice, Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble)

I.1.1 Par type d’usage

Mesures en voiture 1 022 mesures par réseau	Moyenne mesurée (m)	Orange France	SFR	Bouygues Télécom
Taux de communications réussies et maintenues 2 minutes	97%	Voisin de la valeur de référence (-)	Voisin de la valeur de référence	Voisin de la valeur de référence
Précision statistique	± 0,6%
Taux de communications réussies et maintenues 2 minutes et de qualité parfaite	89%(-)	Voisin de la valeur de référence (-)	Supérieur à la valeur de référence	Voisin de la valeur de référence (-)
Précision statistique	± 1,1%
Taux de communications réussies et maintenues 2 minutes et de qualité correcte	94%(-)	Inférieur à la valeur de référence (-)	Supérieur à la valeur de référence (-)	Voisin de la valeur de référence (-)
Précision statistique	± 0,8%

Comparaison avec l’année 2002 effectuée

Piéton extérieur 1 002 mesures par réseau	Moyenne mesurée (m)	Orange France	SFR	Bouygues Télécom
Taux de communications réussies et maintenues 2 minutes	99%	Voisin de la valeur de référence (+)	Voisin de la valeur de référence	Voisin de la valeur de référence
Précision statistique	± 0,3%
Taux de communications réussies et maintenues 2 minutes et de qualité parfaite	95%(+)	Voisin de la valeur de référence	Voisin de la valeur de référence (+)	Voisin de la valeur de référence
Précision statistique	± 0,8%
Taux de communications réussies et maintenues 2 minutes et de qualité correcte	98%	Voisin de la valeur de référence	Voisin de la valeur de référence	Voisin de la valeur de référence
Précision statistique	± 0,5%

Comparaison avec l’année 2002 effectuée

Piéton intérieur 1 009 mesures par réseau	Moyenne mesurée (m)	Orange France	SFR	Bouygues Télécom
Taux de communications réussies et maintenues 2 minutes	97%	Voisin de la valeur de référence (-)	Voisin de la valeur de référence	Voisin de la valeur de référence
Précision statistique	± 0,6%
Taux de communications réussies et maintenues 2 minutes et de qualité parfaite	91%(-)	Voisin de la valeur de référence (-)	Voisin de la valeur de référence	Voisin de la valeur de référence (-)
Précision statistique	± 1,0%
Taux de communications réussies et maintenues 2 minutes et de qualité correcte	94%(-)	Voisin de la valeur de référence (-)	Supérieur à la valeur de référence (-)	Inférieur à la valeur de référence (-)
Précision statistique	± 0,8%

Comparaison avec l’année 2002 effectuée

Trains de banlieue 1 036 mesures par réseau	Moyenne mesurée (m)	Orange France	SFR	Bouygues Télécom
Taux de communications réussies et maintenues 2 minutes	80%	Voisin de la valeur de référence	Voisin de la valeur de référence	Voisin de la valeur de référence
Précision statistique	± 1,4%
Taux de communications réussies et maintenues 2 minutes et de qualité parfaite	67%	Voisin de la valeur de référence	Voisin de la valeur de référence	Voisin de la valeur de référence
Précision statistique	± 1,6%
Taux de communications réussies et maintenues 2 minutes et de qualité correcte	74%	Voisin de la valeur de référence	Voisin de la valeur de référence	Voisin de la valeur de référence
Précision statistique	± 1,5%

Pas de comparaison avec l’année 2002

I.1.2 Par tranches horaires

9h-12h 774 mesures par réseau	Moyenne mesurée (m)	Orange France	SFR	Bouygues Télécom
Taux de communications réussies et maintenues 2 minutes	98%	Voisin de la valeur de référence	Voisin de la valeur de référence	Voisin de la valeur de référence
Précision statistique	± 0,6%
Taux de communications réussies et maintenues 2 minutes et de qualité parfaite	92%	Voisin de la valeur de référence	Voisin de la valeur de référence	Voisin de la valeur de référence
Précision statistique	± 1,1%
Taux de communications réussies et maintenues 2 minutes et de qualité correcte	96%	Voisin de la valeur de référence	Supérieur à la valeur de référence	Voisin de la valeur de référence
Précision statistique	± 0,8%

Pas de comparaison avec l’année 2002

Pas de comparaison avec l’année 2002

15h-18h 761 mesures par réseau	Moyenne mesurée (m)	Orange France	SFR	Bouygues Télécom
Taux de communications réussies et maintenues 2 minutes	98%	Voisin de la valeur de référence	Voisin de la valeur de référence	Voisin de la valeur de référence
Précision statistique	± 0,6%
Taux de communications réussies et maintenues 2 minutes et de qualité parfaite	92%	Voisin de la valeur de référence	Voisin de la valeur de référence	Voisin de la valeur de référence
Précision statistique	± 1,1%
Taux de communications réussies et maintenues 2 minutes et de qualité correcte	95%	Voisin de la valeur de référence	Voisin de la valeur de référence	Voisin de la valeur de référence
Précision statistique	± 0,9%

Pas de comparaison avec l’année 2002

Pas de comparaison avec l’année 2002

I.2 Agglomérations entre 50 000 et 400 000 habitants

I.2.1 Par type d’usage

Mesures en voiture 615 mesures par réseau	Moyenne mesurée (m)	Orange France	SFR	Bouygues Télécom
Taux de communications réussies et maintenues 2 minutes	98%	Voisin de la valeur de référence	Voisin de la valeur de référence	Voisin de la valeur de référence
Précision statistique	± 0,6%
Taux de communications réussies et maintenues 2 minutes et de qualité parfaite	92%	Voisin de la valeur de référence	Voisin de la valeur de référence (+)	Voisin de la valeur de référence
Précision statistique	± 1,2%
Taux de communications réussies et maintenues 2 minutes et de qualité correcte	96%	Inférieur à la valeur de référence (-)	Supérieur à la valeur de référence (+)	Voisin de la valeur de référence
Précision statistique	± 0,9%

Comparaison avec l’année 2002 effectuée

Piéton extérieur 599 mesures par réseau	Moyenne mesurée (m)	Orange France	SFR	Bouygues Télécom
Taux de communications réussies et maintenues 2 minutes	100%(+)	Voisin de la valeur de référence (+)	Voisin de la valeur de référence	Voisin de la valeur de référence (+)
Précision statistique	± 0,3%
Taux de communications réussies et maintenues 2 minutes et de qualité parfaite	96%(+)	Voisin de la valeur de référence (+)	Voisin de la valeur de référence (+)	Voisin de la valeur de référence
Précision statistique	± 0,9%
Taux de communications réussies et maintenues 2 minutes et de qualité correcte	98%	Voisin de la valeur de référence	Voisin de la valeur de référence	Voisin de la valeur de référence
Précision statistique	± 0,6%

Comparaison avec l’année 2002 effectuée

Piéton intérieur 602 mesures par réseau	Moyenne mesurée (m)	Orange France	SFR	Bouygues Télécom
Taux de communications réussies et maintenues 2 minutes	98%	Voisin de la valeur de référence	Voisin de la valeur de référence	Voisin de la valeur de référence
Précision statistique	± 0,6%
Taux de communications réussies et maintenues 2 minutes et de qualité parfaite	94%(+)	Voisin de la valeur de référence	Voisin de la valeur de référence (+)	Voisin de la valeur de référence
Précision statistique	± 1,1%
Taux de communications réussies et maintenues 2 minutes et de qualité correcte	97%	Voisin de la valeur de référence (-)	Voisin de la valeur de référence	Voisin de la valeur de référence
Précision statistique	± 0,8%

Comparaison avec l’année 2002 effectuée

I.2.2 Par tranches horaires

Heures de pointe (12h-15h, 18h-21h) 800 mesures par réseau	Moyenne mesurée (m)	Orange France	SFR	Bouygues Télécom
Taux de communications réussies et maintenues 2 minutes	99%	Voisin de la valeur de référence	Voisin de la valeur de référence	Voisin de la valeur de référence
Précision statistique	± 0,4%
Taux de communications réussies et maintenues 2 minutes et de qualité parfaite	94%(+)	Voisin de la valeur de référence (+)	Voisin de la valeur de référence (+)	Voisin de la valeur de référence
Précision statistique	± 0,9%
Taux de communications réussies et maintenues 2 minutes et de qualité correcte	97%	Voisin de la valeur de référence	Voisin de la valeur de référence	Voisin de la valeur de référence
Précision statistique	± 0,6%

Comparaison avec l’année 2002 effectuée

Comparaison avec l’année 2002 effectuée

I.3 Agglomérations entre 20 000 et 50 000 habitants

Pas de comparaison avec l’année 2002

Pas de comparaison avec l’année 2002

Piéton intérieur 603 mesures par réseau	Moyenne mesurée (m)	Orange France	SFR	Bouygues Télécom
Taux de communications réussies et maintenues 2 minutes	97%	Supérieur à la valeur de référence	Voisin de la valeur de référence	Voisin de la valeur de référence
Précision statistique	± 0,8%
Taux de communications réussies et maintenues 2 minutes et de qualité parfaite	91%	Supérieur à la valeur de référence	Voisin de la valeur de référence	Voisin de la valeur de référence
Précision statistique	± 1,3%
Taux de communications réussies et maintenues 2 minutes et de qualité correcte	95%	Voisin de la valeur de référence	Voisin de la valeur de référence	Voisin de la valeur de référence
Précision statistique	± 1,0%

Pas de comparaison avec l’année 2002

II. Service de voix sur les grands axes de circulation

II.1 Mesures sur les lignes TGV

TGV 1 084 mesures par réseau	Moyenne mesurée (m)	Orange France	SFR	Bouygues Télécom
Taux de communications réussies et maintenues 2 minutes	69%	Très inférieur à la valeur de référence	Très supérieur à la valeur de référence	Très inférieur à la valeur de référence
Précision statistique	± 1,6%
Taux de communications réussies et maintenues 2 minutes et de qualité parfaite	54%	Très inférieur à la valeur de référence	Très supérieur à la valeur de référence	Très inférieur à la valeur de référence
Précision statistique	± 1,7%
Taux de communications réussies et maintenues 2 minutes et de qualité correcte	60%	Très inférieur à la valeur de référence	Très supérieur à la valeur de référence	Très inférieur à la valeur de référence
Précision statistique	± 1,7%

comparaison avec l’année 2002

NOTA : Les critères d’évaluation de la qualité des communications dans TGV ont été durcis afin de mieux tenir compte de l’usage des consommateurs avec la prise en compte des tunnels dans l’évaluation globale de la qualité auditive. De plus, le nombre de lignes testées a progressé. Par conséquent, la comparaison de ces résultats avec ceux de l’année 2002 n’est pas pertinente.

II.2 Mesures sur autoroutes

Autoroutes 1 084 mesures par réseau	Moyenne mesurée (m)	Orange France	SFR	Bouygues Télécom
Taux de communications réussies et maintenues 2 minutes	94%	Supérieur à la valeur de référence	Voisin de la valeur de référence	Inférieur à la valeur de référence
Précision statistique	± 0,8%
Taux de communications réussies et maintenues 2 minutes et de qualité parfaite	81%	Inférieur à la valeur de référence	Très supérieur à la valeur de référence	Inférieur à la valeur de référence
Précision statistique	± 1,4%
Taux de communications réussies et maintenues 2 minutes et de qualité correcte	89%	Voisin de la valeur de référence	Supérieur à la valeur de référence	Inférieur à la valeur de référence
Précision statistique	± 1,1%

Pas de comparaison avec l’année 2002

III. Services de données

III.1 Service SMS

Mesures SMS 431 mesures par réseau	Moyenne mesurée (m)	Orange France	SFR	Bouygues Télécom
Taux de messages reçus	99%	Voisin de la valeur de référence	Voisin de la valeur de référence (-)	Voisin de la valeur de référence
Précision statistique	± 0,4%
Taux de messages reçus et dans un délai inférieur à 30 secondes	99%	Voisin de la valeur de référence	Voisin de la valeur de référence	Voisin de la valeur de référence
Précision statistique	± 0,7%
Taux de messages reçus et dans un délai inférieur à 2 minutes	99%	Voisin de la valeur de référence	Voisin de la valeur de référence (-)	Voisin de la valeur de référence
Précision statistique	± 0,4%

Comparaison avec l’année 2002 effectuée

III.2 Service de téléchargement de fichiers GPRS en mode FTP

(mesures à titre expérimental)

Connexion au réseau GPRS 2 350 mesures par réseau	Moyenne mesurée
Taux de connexions au réseau GPRS réussies	97%
Précision statistique	± 0,5%
Délai moyen de connexion au réseau GPRS	8,1 s
Précision statistique	± 0,2s

Téléchargement fichier de 10 ko 1170 mesures par réseau	Moyenne mesurée
Taux de fichiers reçus	93%
Précision statistique	± 0,9%
Délai moyen de téléchargement des fichiers reçus	6,0 s
Précision statistique	± 0,1s

Téléchargement fichier de 100 ko 1170 mesures par réseau	Moyenne mesurée
Taux de fichiers reçus	93%
Précision statistique	± 0,9%
Délai moyen de téléchargement des fichiers reçus	42 s
Précision statistique	± 0,8s

Mesures réalisées du 14 novembre 2003 au 27 avril 2004 dans toutes les agglomérations de plus de 400 000 habitants : Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice, Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble. Mesures effectuées entre 9h et 21h en semaine. Les mesures sont effectuées à l’aide d’un PC connecté au mobile GPRS. Elles comportent un phase de connexion au réseau GPRS, puis de connexion à un serveur FTP, puis de téléchargement d’un fichier de 10Ko ou de 100Ko. Le délai de téléchargement des fichiers FTP est mesuré à partir de l’instant de la connexion au serveur FTP, jusqu’à réception du message de fin de téléchargement. Le délai de connexion au serveur FTP n’est pas pris en compte. Les mesures sont effectuées successivement sur les 3 réseaux.

NOTA : Ces mesures de téléchargement GPRS, réalisées pour la première fois cette année, ont un caractère expérimental. Le consultant a constaté des écarts dans les temps de téléchargement mesurés par rapport à une situation dans laquelle le serveur de données serait situé directement chez un hébergeur et non derrière une ligne xDSL comme cela est utilisé dans la méthodologie employée. Ces écarts qui semblent dus à inter fonctionnement non optimal entre le GPRS et le xDSL peuvent être évalués à environ 15% de temps de téléchargement supplémentaire en moyenne sur l’ensemble des mesures réalisées et peuvent atteindre pour certaines mesures jusqu’à 30% de temps supplémentaire par rapport à l’usage courant de ce service.