La qualité de service des réseaux de téléphonie mobile en France en 2004/2005 - juillet 2005

Téléchargement de l'enquête (pdf)

Editorial de Paul CHAMPSAUR, Président

Pour la huitième année consécutive, l’Autorité de régulation des communications électroniques et des postes a mené, en concertation avec les opérateurs et les associations de consommateurs et d’utilisateurs, une enquête d’évaluation de la qualité de service des réseaux de téléphonie mobile en France métropolitaine, telle qu’elle peut être perçue au quotidien par les clients des trois opérateurs.

A ce titre, il convient de rappeler que les mesures statistiques réalisées correspondent principalement aux usages les plus représentatifs du téléphone mobile, et par conséquent ne peuvent pas refléter l’ensemble des perceptions locales et individuelles des utilisateurs. Compte tenu du bon niveau de qualité atteint pour ces usages moyens, les enquêtes futures pourront viser des indicateurs ciblés sur d’autres usages fréquents.

Cette enquête, conduite par le cabinet Directique, s’est déroulée sur une période de 6 mois, entre novembre 2004 et mai 2005. Plus de 25 000 appels, près de 5 000 envois de messages courts et multimédia, près de 5 000 téléchargements de fichiers et près de 2500 sessions de navigation WAP et i-mode ont été réalisés dans les conditions d’utilisation courantes du téléphone mobile.

Principales évolutions par rapport à l’enquête menée en 2003-2004

L’enquête menée en 2004-2005 a évolué sur un certain nombre de points par rapport à celle menée en 2003-2004 notamment en ce qui concerne les services de données en mode paquet.

En effet, l’Autorité introduisait pour la première fois en 2003-2004 des mesures portant sur un premier service de téléchargement de fichiers en mode paquet.

En complément de ces mesures, l’enquête menée en 2004-2005 a inclus à titre expérimental des tests des services de messagerie multimédia (MMS et message i-mode) et de navigation WAP et i-mode dans les agglomérations de plus de 400.000 habitants. En raison du caractère expérimental de ces mesures, ces résultats sont publiés cette année de façon agrégée pour les trois opérateurs.

Les comparaisons entre les résultats des enquêtes 2003-2004 et 2004-2005 ont été réalisées systématiquement sauf quand elles étaient non significatives du fait des évolutions des méthodologies de mesure.

Les principaux enseignements de l’enquête de cette année

Au vu des résultats de l’enquête, il est possible de tirer plusieurs enseignements :

Pour le service de voix :

Les résultats des communications réalisées dans les agglomérations (hors trains de banlieue) présentent un taux de réussite moyen se situant autour de 98 %. Il n’y a pas de disparité significative entre les opérateurs sur la qualité du service offert dans ces agglomérations.

De plus, confirmant la tendance observée dès l’enquête 2002, on ne constate pas de disparité significative de qualité de service en fonction des heures pleines et des heures creuses ce qui montre une bonne maîtrise par les opérateurs de la charge de leurs réseaux.

Les taux de communications réussies et de qualité parfaite en agglomération ressortent globalement au dessus de 90% pour toutes les strates et pour tous les usages (hors trains de banlieues) considérés.

Ces résultats, qui se maintiennent à un bon niveau, montrent néanmoins que près d’une communication téléphonique sur dix passées en voiture et plus d’une communication sur vingt passées en piéton ne correspondent pas encore à l’exigence des utilisateurs pour une qualité auditive et une fiabilité du service comparables à la téléphonie fixe.

Concernant les mesures réalisées sur les axes de circulation qui représentent des usages plus spécifiques des utilisateurs, les résultats appellent les remarques suivantes :

Pour les services de données :

J’invite le lecteur à prendre attentivement connaissance du descriptif des conditions techniques de l’enquête, notamment la partie relative aux avertissements, avant d’aborder les parties consacrées aux résultats.

Paul CHAMPSAUR
Président

Avertissement

Remarques générales

L’objet de cette enquête, menée sur une base annuelle, est d’apprécier la qualité de service des réseaux de téléphonie mobile en France.

Les opérateurs concernés par l’étude, à savoir Orange France, SFR et Bouygues Telecom, ainsi que des associations de consommateurs et d’utilisateurs ont été associés à la définition du cahier des charges de l’étude.

Limites de l’exercice

L'évaluation porte sur la qualité des services de téléphonie mobile perçue par les clients, dans les conditions où ceux-ci les utilisent au quotidien. Cette évaluation est menée sur une période de 5 mois.

Il convient de souligner que les opérateurs apportent en permanence des améliorations à leur réseau, tant en matière de qualité de service que pour accroître la couverture. Les travaux qu'ils mènent dans ce but peuvent, pendant leur durée d’exécution et sur des zones géographiquement limitées, entraîner une dégradation momentanée de la qualité de service.

Afin notamment de rendre l’étude plus représentative de l’usage des services de téléphonie mobile, chacun des trois réseaux a été testé avec un mobile bi-bande correspondant aux meilleures ventes récentes de packs de chaque opérateur.

Précision statistique et arrondis

Enfin, il convient de rappeler que, comme dans tout sondage, les résultats de la présente enquête comportent une marge d’imprécision. La précision statistique indiquée en dessous de chaque résultat est l’intervalle qui contient le résultat selon une probabilité de 95%. Toute comparaison entre les différents indicateurs doit donc tenir compte de cet intervalle de confiance.

Par ailleurs, pour être en cohérence avec cette imprécision statistique, les résultats de la présente enquête ont été arrondis au pourcentage le plus proche. Il convient de rappeler que :

• la somme de deux résultats arrondis peut être différente de l’arrondi de leur somme,
• le produit de deux résultats arrondis peut être différent de l’arrondi de leur produit.

1. Caractéristiques techniques de l’enquête

1. Configuration générale de l’enquête

1.1 Mesures de qualité vocale

Les enquêteurs munis de téléphones mobiles et les enquêteurs munis de téléphone fixe s’appellent entre eux sur les différents réseaux de téléphonie mobile à tester. Ils testent l’obtention de l’appel (absence d’échec), le maintien de la communication pendant 2 minutes (absence de coupure) et la qualité auditive de la communication.

Les appels sont passés pour partie du fixe vers le mobile (33%), et pour partie du mobile vers le fixe (67%).

Plusieurs situations d’utilisation sont testées :

• en voiture, en situation passager (sans antenne de toit), en agglomération et sur autoroutes,
• en piéton à l’extérieur,
• en piéton à l’intérieur de bâtiments,
• à bord des trains de banlieue,
• à bord des TGV.

Pour toutes les situations d’utilisation, les mesures sont menées simultanément sur les trois réseaux, au même endroit géographique. Chaque réseau est testé par un " binôme " d’enquêteurs, l’un mobile et l’autre fixe.

En voiture, dans les trains de banlieue ou dans les TGV et en mode piéton, un kit oreillette est utilisé.

Les mesures piétons en intérieur (bureaux et habitations privés) sont réalisées en 1^er jour (pièces avec fenêtres), à moins de 3 mètres des ouvertures. Elles sont réparties entre les rez-de-chaussée et les étages de manière équitable, les sous-sols étant exclus.

1.2 Mesures sur les services de données et messageries

Des mesures sont également réalisées pour le service de messages courts SMS, le service de messages multimédia MMS ou message i-mode, le service de transmission de données GPRS en mode téléchargement de fichiers FTP, ainsi que le service de téléchargement de données WAP ou i-mode sur le réseau GPRS.

Pour les tests SMS et MMS ou message i-mode, les messages sont envoyés simultanément de chaque réseau à tester vers le même réseau, au même endroit géographique.

Pour les tests de navigation WAP ou i-mode, on accède au portail de l’opérateur via connexion au réseau GPRS, puis on réalise une succession de connexions sur des sites " Internet Mobile " à partir du portail de l’opérateur pendant une durée de 5 minutes.

Pour les tests de téléchargement FTP, on procède à une connexion GPRS puis on télécharge alternativement un fichier d’une taille de 10 Ko, ou un fichier de 100 Ko, depuis un serveur FTP dédié à cette opération. Ces mesures se font à l’aide d’un automate qui simule les actions réalisées par un utilisateur.

1.3 Planning et horaires

Pendant tout le déroulement de l’enquête, les opérateurs ne connaissaient ni les jours, ni les lieux où s’effectuaient les mesures. Ils ne connaissaient pas non plus la liste des villes tirées au sort parmi les agglomérations de moins de 400 000 habitants et les abonnements utilisés dans le cadre de l’enquête.

Les horaires de mesures sont réparties de la manière suivante :

• pour les agglomérations de plus de 400 000 habitants : répartition homogène entre les 4 créneaux horaires 9h-12h, 12h-15h, 15h18h, 18h-21h en semaine,
• pour les agglomérations de 50 000 à 400 000 habitants : partage entre heures de pointe de 12h à 15h et de 18h à 21h en semaine (50%) et heures creuses de 9h à 12h et de 15h à 18h en semaine (50%),
• pour les agglomérations de 20 000 à 50 000 habitants, pour les trains de banlieue, pour les TGV et les autoroutes : entre 9h et 21h,
•  pour les SMS, MMS ou message i-mode, FTP et navigation WAP ou i-mode : entre 9h et 21h.

1.4 Terminaux utilisés

Pour les tests de téléphonie vocale et du service de SMS, chaque réseau a été testé avec le terminal Nokia 3410, terminal retenu pour l’ensemble des trois opérateurs.

Pour les mesures MMS et navigation WAP, les terminaux suivants ont été retenus :

Pour les mesures du service de téléchargement de fichiers en mode GPRS, chaque réseau a été testé avec le terminal GPRS Sagem MyX-5m, retenu pour l’ensemble des trois opérateurs.

2. Echantillon

L’échantillon a été construit de manière à :

• distinguer les différentes catégories de situations (voiture, piéton intérieur, piéton extérieur, zones géographiques, …),
• disposer d’un nombre suffisant de mesures dans chaque catégorie en vue d’obtenir une précision statistique satisfaisante,
• répartir les mesures, au sein de chaque catégorie, selon des conditions représentatives des utilisations les plus courantes.

Les mesures pour chaque opérateur sont réparties de la manières suivante :

Le nombre total de mesures est de : 8800 appels téléphoniques, 400 SMS, 798 MMS ou message i-mode, 1600 téléchargements FTP, et 800 navigations WAP ou i-mode pour chaque opérateur.

3. Mesures de qualité vocale

3.1 Sélection des agglomérations

Les agglomérations, de plus de 400 000 habitants, sont au nombre de 12 : Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice, Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble. Toutes ont été retenues et testées, en distinguant les " zones très denses " et " autres zones denses " selon les critères suivants :

• Zones très denses : centre ville de la ou des communes principales, zones de transit (gares, aéroports), centres d’activités (commerciaux, affaires), axes urbains à très fort trafic et autoroutes dans les limites de l’agglomération,
• Autres zones denses : continuum bâti autour de la zone très dense, autres centres villes de plus de 5000 habitants, autres axes urbains au sein de l’agglomération.

Pour les agglomérations de 50 000 à 400 000 habitants, un tirage au sort a été effectué selon la même méthode que les années précédentes :

• choix d’un nombre d’agglomérations optimal de manière à effectuer, dans chaque agglomération, un nombre de mesures qui soit cohérent avec sa taille,
• tirage aléatoire des agglomérations, avec une probabilité fonction logarithmique de la population,
• rectification du tirage pour équilibrer les diverses régions du territoire.

Cette méthode de tirage renforce volontairement la représentation des agglomérations de faible population par rapport à un tirage où chaque agglomération aurait été affectée d’une probabilité proportionnelle à sa population.

Pour les agglomérations de 20 000 à 50 000 habitants, le tirage au sort a été effectué avec une même probabilité pour chaque agglomération, puis rectification pour équilibrer les diverses régions du territoire.

Les 20 villes tirées au sort pour les agglomérations de 50 000 à 400 000 habitants sont par ordre alphabétique : Agen, Angoulême, Annecy, Arles, Besançon, Béziers, Blois, Chalons en champagne, Cholet, Epinal, Le Havre, Lorient, Maubeuge, Meaux, Metz, Montluçon, Nevers, Pau, Rennes, Saint-Étienne.

Les 20 villes tirées au sort pour les agglomérations 20 000 à 50 000 habitants sont : Annonay, Aurillac, Carcassonne, Chaumont, Coulommiers, Dole, Etampes, Fécamp, Fougères, Gap, Istres, Libourne, Merville, Montceau-les-Mines, Morlaix, Riom, Rochefort, Saint-Avold, Sallanches, Sedan.

La sélection des agglomérations est récapitulée dans le tableau suivant :

3.2 Conditions de mesures dans les agglomérations

Après avoir ainsi déterminé la localisation et le nombre des mesures, un certain nombre de conditions supplémentaires ont été prises en compte :

• Localisation des mesures

D’une façon générale, l’extension de chaque agglomération testée correspond à la définition de l’INSEE donnant la liste des communes appartenant à l’agglomération.

Les agglomérations de plus de 400 000 habitants sont subdivisées en " zones très denses " et " autres zones denses " comme il est expliqué plus haut. Dans les autres agglomérations, sont distinguées la " ville ", qui est la commune principale, et le reste de l’agglomération.

• Mesures en voiture

Dans les agglomérations de plus de 400 000 habitants, le territoire à tester est divisé en zones de surfaces équivalentes, avec un certain nombre d’appels à effectuer. Les enquêteurs ajustent leurs parcours en fonction du terrain (circulation et sens interdits), l’objectif étant de couvrir équitablement la zone.

Dans les autres agglomérations, les mesures sont réparties pour 2/3 en ville et 1/3 dans le reste de l’agglomération. Elles sont effectuées sur des parcours incluant les axes principaux et dans les zones bâties (centre ville, aéroport, gare, lieux touristiques, zones d’activités).

• Mesures piétons

Dispositions communes aux mesures piéton en extérieur et en intérieur

Dans les agglomérations de plus de 400 000 habitants, les mesures sont réparties selon le même principe de division en zones de surfaces équivalentes que pour les mesures en voiture. Dans les autres agglomérations, les mesures sont effectuées dans les zones bâties, avec une répartition 2/3 en ville, 1/3 dans le reste de l’agglomération. Partout, il a été évité de faire des mesures aux mêmes endroits que celles effectuées en voiture et ces mesures ont été dispersées le plus possible sur le territoire à tester.

Mesures piétons en extérieur

Les mesures sont faites pour 2/3 en déplacement et 1/3 à l’arrêt. En chaque point mesuré, une seule mesure est réalisée de façon à obtenir la meilleure dispersion géographique. Les emplacements sont choisis parmi les zones fréquentées par les piétons (zones bâties, parcs et jardins, plages, ...).

Mesures piétons en intérieur

Tous les appels sont passés en 1^er jour (pièce avec fenêtre) à moins de 3 mètres des ouvertures, sans se déplacer, aux rez-de-chaussée et dans les étages, les sous-sols étant exclus.

Dans certains lieux publics (gares par exemple) la notion de 1^er jour n’a pas de sens particulier. Les mesures se font alors dans les emplacements fréquentés. Aucune mesure n’est faite en sous sol.

Les mesures sont réparties, selon le type de bâtiment : 50% dans les lieux publics, 20% dans les immeubles de bureaux privés, 30% dans des locaux d’habitation privés. La dispersion des mesures est assurée de la façon suivante :

• dans les lieux publics de grande superficie : 3 à 4 mesures ;
• dans les lieux publics de petite surface : 2 mesures ;
• dans les lieux privés (bureaux ou habitations) : 2 à 4 mesures selon la surface, réparties dans l’ensemble du bâtiment, entre étages et pièces.

3.3 Conditions de mesures dans les trains de banlieue

L’importance du réseau de banlieue est très inégale selon les agglomérations. Seules Paris, Lyon, Marseille-Aix-en-Provence et Lille ont des réseaux de banlieue importants, par rapport à toutes les autres. Les mesures ont donc été réalisées dans ces quatre agglomérations, selon les proportions suivantes : 68% à Paris, 12% à Marseille-Aix-en-Provence, 12% à Lyon et 9% à Lille.

Les différentes positions des enquêteurs dans les rames ont été testées : fenêtre ou couloir, bas ou haut dans les rames, un côté de la voie à l’aller, puis l’autre au retour. Les trois enquêteurs sont toujours groupés pour évaluer les trois réseaux dans les mêmes conditions.

3.4 Conditions de mesures sur les autoroutes

Les axes autoroutiers à fort trafic en dehors de la limite de l’agglomération sont : A1 de Paris à Lille, A4 de Paris à Strasbourg, A6 de Paris à Lyon, A7 de Lyon à Marseille, A8 de Marseille à Nice, A9 d’Orange à Perpignan, A10 de Paris à Bordeaux, A11 de Paris à Nantes, A13 de Paris à Caen, A61-A62 de Bordeaux à Narbonne.

Les tests se font en faisant varier régulièrement les positions des enquêteurs dans le véhicule afin d’évaluer les trois réseaux dans les mêmes conditions.

3.5 Conditions de mesures dans les TGV

Les lignes de TGV testées sont : Paris - Lille, Paris - Bordeaux, Paris - Arras, Paris - Marseille, Paris - Lyon, Paris - Rennes, Paris - Nantes, Paris - Calais (Eurostar), et Lille - Lyon.

Les tests se font en variant les positions des enquêteurs dans les rames : fenêtre ou couloir, bas ou haut dans les rames, un côté de la voie à l’aller, puis l’autre au retour. Les trois enquêteurs sont toujours groupés pour évaluer les trois réseaux dans les mêmes conditions.

4. Notation de la qualité auditive

La qualité auditive est notée par les enquêteurs mobiles et fixes, selon une échelle à 4 niveaux :

Parfaite : aucune perturbation. Qualité équivalente à celle du réseau fixe.

Acceptable : un peu gêné dans l’écoute par quelques perturbations qui ne gênent toutefois pas la conversation.

Médiocre : fréquemment gêné dans l’écoute par de nombreuses perturbations, mais il est encore possible de se comprendre.

Mauvais : il est très difficile de s’entendre, la conversation est impossible.

Chaque enquêteur, mobile et fixe, porte une appréciation sur les communications maintenues 2 minutes. N’est retenue que l’appréciation la plus sévère des deux.

La particularité du " handover " (cliquetis lors du changement de cellule) est exclue de l’appréciation de la qualité auditive.

Des dispositions ont été prises à la fois pour garantir une appréciation objective de la qualité de la part des enquêteurs, et pour éviter les divergences d’évaluation et leurs conséquences sur les résultats. Les enquêteurs ont été formés spécifiquement pour identifier les perturbations typiques pouvant survenir sur les réseaux de téléphonie mobile et qualifier les communications de façon rigoureuse.

Les dispositions prises pour garantir un étalonnage objectif et homogène de la qualité auditive sont :

• formation des enquêteurs pour identifier les perturbations typiques pouvant survenir sur les réseaux mobiles numériques (écho, bruit métallique, handover, souffle, ...),
• formation et entraînement à l'étalonnage de la qualité auditive d'après des enregistrements sonores, et contrôle de la dispersion des résultats,
• campagne de mesures à blanc en situation réelle et analyse : application de procédures, enregistrement des données pour tous les enquêteurs mobiles et fixes, et analyse des résultats,
• contrôle par des superviseurs au cours des mesures réelles : écoute discrète aléatoire et contrôle des données enregistrées tout au long de l’enquête,
• analyse quotidienne de la cohérence des résultats obtenus : divers états de sortie statistiques permettent de détecter d’éventuelles divergences de notation de la qualité auditive, selon les enquêteurs, les terminaux, etc., et d’intervenir en cas d’anomalie,
• permutation des binômes d’enquêteurs fixes et mobiles sur chaque réseau et entre-eux, pour éliminer tout biais résiduel d’appréciation de la qualité auditive dans un même groupe et dans des groupes différents.
• Avant le début de l’enquête, tous les matériels utilisés ont été vérifiés par le consultant .La vérification consiste à contrôler le bon fonctionnement comme le ferait un usager classique en vérifiant notamment le bon accrochage du réseau, le contrôle de la batterie et les premières communications.
• Au cours de l'enquête, l'apparition d'éventuels problèmes de fonctionnement est surveillée en temps réel. S’il en apparaît et qu'ils proviennent du matériel utilisé, les mesures sont marquées de manière spécifique dans la base pour ne pas être prises en compte dans les résultats. Ces mesures sont alors refaites après correction du problème.

5. Mesures sur les services de données et messageries

Les mesures SMS, MMS ou message i-mode, navigation Wap ou i-mode et FTP sont réparties aléatoirement et de façon homogène sur l’ensemble des 12 agglomérations du TOP 12 et simultanément sur tous les opérateurs.

5.1 Service de messages courts (SMS)

Pour chaque opérateur, les mesures sont réalisées en envoyant des messages SMS depuis et vers des mobiles du réseau de l’opérateur. Le mobile de réception est situé en zone couverte et reste statique.

Le message SMS envoyé est identique pour tous les opérateurs et pour toutes les mesures. ; il est constitué de 26 caractères remplis par les lettres majuscules de l’alphabet (" ABCD … XYZ "). La durée entre l’émission et la réception du message est mesurée ; on vérifie que le contenu du message est sans erreur lors de sa réception ; et enfin, l’horodatage du message reçu permet d’identifier le message émis de manière certaine.

Les messages sont envoyés depuis le terminal de chaque opérateur vers un autre terminal du même opérateur, allumé en état de veille. Les mesures sont effectuées successivement sur les 3 réseaux.

Le délai de transmission du message est mesuré entre le moment de l’émission du SMS sur le mobile émetteur et le moment de la réception de celui-ci sur le mobile de réception.

Au delà d’une durée de 5 minutes, le message est considéré comme non reçu. Tout message non envoyé par refus du réseau est compté comme non reçu.

5.2 Service de messagerie multimédia (MMS ou message i-mode) réalisés à titre expérimental

Pour chaque opérateur, les mesures sont réalisées en envoyant des messages MMS ou message i-mode depuis et vers des mobiles du réseau de l’opérateur. Le mobile de réception est situé en zone couverte en mode GPRS et reste statique.

Le message MMS envoyé est identique pour tous les opérateurs et pour toutes les mesures. ; il est constitué de 26 caractères remplis par les lettres majuscules de l’alphabet (" ABCD … XYZ ") et d’une pièce jointe de 25 ko (photo). La durée entre l’émission et la réception du message est mesurée ; on vérifie que le contenu du message est sans erreur lors de sa réception ; et enfin, l’horodatage du message reçu permet d’identifier le message émis de manière certaine.

Les messages sont envoyés depuis le terminal défini pour chaque opérateur vers un autre terminal du même opérateur, allumé en état de veille et paramétré en réception automatique.

Le délai de transmission du message est mesuré entre le moment de l’émission du MMS sur le mobile émetteur et le moment de la réception de celui-ci sur le mobile de réception.

Au delà d’une durée de 5 minutes, le message est considéré comme non reçu. Tout message non envoyé par refus du réseau est compté comme non reçu.

5.3 Navigation WAP ou i-mode sur le réseau GPRS réalisée à titre expérimental

Une mesure consiste à accéder au portail de l’opérateur via connexion au réseau GPRS, puis à réaliser une succession de connexions sur des sites " Internet Mobile " à partir du portail de l’opérateur pendant une durée de 5 minutes. Les terminaux utilisés pour chaque opérateur sont les mêmes que ceux utilisés pour les mesures MMS ou message i-mode. Chaque mobile de test est situé en zone couverte en mode GPRS et reste statique.

On mesure l’accessibilité au portail de l’opérateur où une mesure est considérée comme réussie lorsque la page d’accueil de l’opérateur est chargée intégralement dans un délai inférieur à 1 minute, sans coupure de la connexion GPRS, et dès la première tentative. On mesure aussi la navigation considérant qu’elle est réussie si elle est maintenue et active pendant une durée de 5 minutes sans coupure de connexion GPRS. Il n’y a pas de vidage de cache d’un test à l’autre.

5.4 Service de téléchargement de données sur le réseau GPRS

Une mesure consiste, sur chacun des réseaux testés, à :

• tenter une connexion au réseau GPRS, et mesurer le délai d’établissement de la liaison, ou noter l’échec éventuel ;
• puis à tenter de télécharger un fichier, et mesurer son délai de téléchargement, ou noter l’échec éventuel (en distinguant les échecs de connexion au serveur FTP, de coupure en cours de communication, et les abandons hors délai) ;
• et à vérifier l’intégrité du fichier, s’il est entièrement téléchargé.

Au delà d’une durée de 2 minutes, pour le fichier de 10 Ko et de 4 minutes pour le fichier de 100 Ko, le téléchargement est abandonné et considéré comme échoué.

Le protocole de transfert de fichier utilisé est le protocole FTP.

Les mesures ont été réalisées à l’aide d’un automate de test MobiWeb développé par DIRECTIQUE. Le serveur FTP appelé est dédié à cette opération et est relié à Internet par un lien largement dimensionné. Ces dispositions permettent d’éliminer toute influence du serveur sur les résultats des mesures.

L’automate fournit un fichier résultat et un journal des évènements. Ce dernier permet de rechercher a posteriori les causes techniques des erreurs subies par les utilisateurs.

Chaque mobile de test est situé en zone couverte en mode GPRS et reste statique.

La localisation et la répartition géographique des mesures est la même que pour les mesures MMS ou message i-mode et navigation WAP ou i-mode.

6. Calendrier de l’enquête

Pour les agglomérations de tous types, les trains de banlieue et les TGV, les autoroutes, les mesures ont été effectuées entre le 1er décembre 2004 et le 22 avril 2005.

Pour les SMS, les MMS ou message i-mode, la navigation WAP ou i-mode, et les téléchargements FTP, les mesures ont été effectuées entre le 13 décembre 2004 et le 27 avril 2005.

7. Equipes et déroulement de l’enquête

Un chef de projet et un superviseur assurent la formation des équipes, l’organisation des itinéraires, le respect des modes opératoires et le bon déroulement de l’enquête.

7.1 Mesures de qualité vocale

Les mesures en voiture sont réalisées par une équipe de 7 personnes (4 embarquées dont 1 chauffeur, 3 enquêteurs mobiles, 3 enquêteurs fixes). L’emplacement des mobiles dans le véhicule, ainsi que les enquêteurs sont permutés par ½ journées.

Les mesures piéton sont effectuées par la même équipe où chaque enquêteur teste un seul réseau.

Les mesures dans les trains sont réalisées par des équipes de 6 personnes (3 voyageurs et 3 enquêteurs fixes). Les mesures se déroulent alors comme en voiture. Les emplacements des enquêteurs et des mobiles sont permutés au moins tout les quarts d’heure.

Chaque enquêteur teste un seul réseau. Les appels sont passés simultanément sur l’ensemble des trois réseaux.

Les enquêteurs fixes étaient situés dans les locaux du consultant à Paris 14ème.

7.2 Mesures sur les services de données et messageries

Les mesures SMS, MMS ou message i-mode, navigation WAP ou i-mode, FTP, sont effectuées par un enquêteur mobile spécialement dédié à ces mesures. Pour chaque type de mesure, chaque test est effectué en séquentiel sur les trois réseaux. L’enquêteur est installé dans un emplacement choisi pour sa bonne réception radio sur les trois réseaux. Les mesures FTP sont effectuées à l’aide d’un automate MobiWeb. Cet automate est géré par le même enquêteur mobile lors de son passage dans chacune des agglomérations du TOP 12.

7.3 Maîtrise de la qualité des mesures

Le travail de chaque équipe est guidé et sécurisé par une application informatique qui notamment rythme les appels et indique le sens de l’appel.

Chaque enquêteur fixe effectue la saisie des résultats de mesures et des repères topographiques, selon ses propres informations et celles que lui communique l’enquêteur mobile pendant les communications.

Les positions en voiture sont repérées par un système de localisation GPS automatique, et celles à pied par un système de localisation GPS manuel, ce qui permet de vérifier le respect des consignes concernant les trajets, de repérer les mesures, et d’aider au diagnostic en cas de problème.

Au cours de l’enquête, l’apparition d’éventuels problèmes de fonctionnement affectant anormalement la qualité sur un ou plusieurs réseaux est surveillée en permanence. S’ils proviennent du réseau d’un opérateur et sont non-récurrents, ils sont considérés comme des inconvénients subis par les clients, et les mesures sont prises en compte. S’ils sont récurrents (panne totale d’un réseau dans une zone par exemple), ils sont immédiatement signalés à l’Autorité de Régulation des Télécommunications, qui définit la conduite à tenir (suspendre les mesures puis refaire les mesures par exemple).

Le matériel utilisé par les enquêteurs (mobiles, batteries, chargeurs, kit oreillette) fait l’objet d’une attention particulière des enquêteurs pour éviter que des défaillances puissent influencer les résultats des mesures.

8. Cartes des agglomérations testées

Définitions

1. Définitions des indicateurs de qualité de service

Les définitions retenues pour les communications vocales sont résumées dans le tableau ci dessous :

Les taux de communications correctes, parfaites ou acceptables sont calculés sur la base du nombre total de tentatives de communications.

Les définitions retenues pour le service de messages courts (SMS) sont :

Les trois indicateurs sont calculés sur la base du nombre total de tentatives d’envoi de message.

Les définitions retenues pour le service de messages multimédia (MMS ou message i-mode) sont :

Les définitions retenues pour le service de téléchargement de données sur le réseau GPRS (WAP ou i-mode) sont :

Les définitions retenues pour le service de transmission de données GPRS (FTP) sont :

Le délai moyen de connexion au réseau GPRS est calculé sur la base des connexions réussies.

Le délai moyen de téléchargement est calculé sur la base des fichiers reçus.

2. Définition de la mesure

Pour les communications vocales, une mesure consiste à tenter d’établir une communication vocale, puis à évaluer la qualité auditive de la conversation, sur chacun des réseaux testés. Une mesure sur trois réseaux porte ainsi sur trois communications, qu’elles aient abouti ou non.

Pour le service de messages courts (SMS), une mesure consiste à tenter d’émettre un message, puis à mesurer le délai de réception et à vérifier son contenu, sur chacun des réseaux testés. Une mesure sur trois réseaux porte ainsi sur trois messages, qu’ils aient abouti ou non.

Pour le service de messages multimédia (MMS ou message i-mode), une mesure consiste à tenter d’émettre un message avec une pièce jointe de 25 ko, puis à mesurer le délai de réception et à vérifier son contenu, sur chacun des réseaux testés. Une mesure sur trois réseaux porte ainsi sur trois messages, qu’ils aient abouti ou non.

Pour le service de téléchargement de données sur le réseau GPRS (WAP ou i-mode), une mesure consiste à accéder au portail de l’opérateur via connexion au réseau GPRS, puis à réaliser une succession de connexions sur des sites " Internet Mobile " à partir du portail de l’opérateur pendant une durée de 5 minutes.

Pour le service FTP, une mesure consiste à tenter une connexion au réseau GPRS et à tenter de télécharger un fichier depuis un serveur dédié relié à Internet par un lien suffisamment dimensionné, puis à mesurer le délai d’établissement de la connexion et le délai de téléchargement du fichier, et à vérifier l’intégrité du fichier, sur chacun des réseaux testés. Une mesure sur trois réseaux porte ainsi sur trois fichiers, qu’ils aient étés reçus ou non.

Résultats agrégés des tests des services mobiles

Présentation des tableaux

Pour chaque indicateur, le résultat est présenté sur la base, d’une part d’une valeur de référence choisie comme étant la moyenne agrégée pour les trois opérateurs, et d’autre part de la qualification de la performance de chaque opérateur autour cette valeur selon les cinq niveaux : très inférieur, inférieur, voisin, supérieur, très supérieur à la valeur de référence.

De plus, une comparaison avec les résultats de l’enquête 2003 tenant compte de la précision statistique de ces mesures est présente lorsqu’elle est pertinente, sous forme d’un signe (+) ou (-) accolé au résultat indiquant le cas échéant une amélioration ou une dégradation par rapport à l’année précédente, et ce pour la valeur moyenne comme pour les performances individuelles des opérateurs.

Ecarts par rapport à la valeur de référence pour les valeurs en pourcentages

La valeur de référence est la moyenne des résultats des trois opérateurs sur l’indicateur considéré.

Chaque opérateur est qualifié en fonction de la valeur de l’écart (e) entre son résultat (t) et la valeur de référence (m), sur 5 niveaux : très inférieur, inférieur, voisin, supérieur, très supérieur à la valeur de référence.

Les seuils qui déterminent ces niveaux prennent en compte la précision statistique des résultats, car les écarts ne sont significatifs que s’ils sont supérieurs à l’incertitude.

Les seuils s1 et s2 sont calculés selon les formules suivantes :

et

s2 = 4%

Les niveaux sont alors définis par rapport à ces seuils :

• Si e <= -s2 : " Très inférieur à la valeur de référence "

• Si -s2 < e <= -s1 : " Inférieur à la valeur de référence "

• Si -s1 < e <= s1 : " Voisin de la valeur de référence "

• Si s1 < e <= s2 : " Supérieur à la valeur de référence"

• Si e >= s2 : " Très supérieur à la valeur de référence"

Ecarts par rapport à la valeur de référence pour les délais

Pour une mesure de délai, chaque opérateur est qualifié en fonction du nombre de mesures (N), l'écart type (sigma) et la valeur moyenne (m), sur 5 niveaux : performance bien moins bonne, moins bonne, voisine, meilleure, bien meilleure que la moyenne.

Les seuils qui déterminent ces niveaux prennent en compte la précision statistique des résultats, car les écarts ne sont significatifs que s’ils sont supérieurs à l’incertitude. Les seuils s1 et s2 sont calculés selon les formules suivantes :

soit N le nombre de mesures, sigma l'écart type et m la valeur moyenne :

• Intervalle de confiance en % : IC% = 1.96 * sigma / (racine(N) * m)
• s1 = Max (5%, 2*IC%) et s2 = 20%

Les niveaux sont alors définis par rapport à ces seuils :

Pour chaque opérateur, dont la note moyenne est m_opérateur :

• Si m_opérateur - m < - s2 : "Performance bien meilleure que la moyenne"

• Si m_opérateur - m compris entre - s2 et - s1 : "Performance meilleure que la moyenne"

• Si m_opérateur - m compris entre - s1 et + s1 : "Performance voisine de la moyenne"

• Si m_opérateur - m compris entre + s1 et + s2 : "Performance moins bonne que la moyenne"

• Si m_opérateur - m > s2 : "Performance bien moins bonne que la moyenne"

Comparaison avec l’étude précédente (2003/2004)

Pour chaque opérateur et pour chaque indicateur, si une comparaison avec l’année précédente est possible, (c’est à dire quand le périmètre et la méthode de mesure est identique), l’évolution par rapport à l’année précédente est indiquée par un signe accolé au nom de l’opérateur ou de la moyenne mesurée.

Ce signe est déterminé en fonction de l’écart entre la valeur (t2) de l'indicateur de cette année par rapport à l'année précédente (t1), selon un seuil Delta qui prend en compte la précision statistique des résultats :
où p est le résultat moyen des 2 années = (n1*t1+n2*t2)/(n1+n2), et n1 et n2 les nombres de mesures de chacune des deux années.

• signe (+) = amélioration supérieure à Delta

• pas de signe = indétermination (écart inférieur à Delta)

• signe (-) = dégradation supérieure à Delta

Résultats des tests des services mobiles

Service de voix dans les agglomérations

Grandes agglomérations
(Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice, Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble)

Par type d’usage

Par tranches horaires tous usages confondus, hors trains de banlieue

Agglomérations entre 50 000 et 400 000 habitants

Par type d’usage

Par tranches horaires dans les agglomérations entre 50 000 et 400 000 habitants tous usages confondus

Agglomérations entre 20 000 et 50 000 habitants

Par type d’usage

Service de voix sur les grands axes de circulation

Mesures sur les lignes TGV

Mesures sur autoroutes

Service de données

Service SMS

Service MMS ou message i-mode (mesures à titre expérimental)

Note : En raison du caractère expérimental de ces mesures réalisées pour la première fois en 2004-2005, ces indicateurs font l’objet d’une publication agrégée.

Service de téléchargement de fichiers GPRS en mode FTP

Note : le délai de téléchargement des fichiers FTP est mesuré à partir de l’instant de la connexion au serveur FTP

Service de navigation Internet mobile sur le réseau GPRS (mesures à titre expérimental)

Note : En raison du caractère expérimental de ces mesures réalisées pour la première fois en 2004-2005, ces indicateurs font l’objet d’une publication agrégée.