Enquête d'évaluation de la qualité de service des réseaux de téléphonie mobile en France en 1998

1. Configuration générale de l'enquête

• Tests du service de téléphonie mobile

Les enquêteurs munis de mobiles et les enquêteurs fixes s'appellent entre eux sur les différents réseaux de téléphonie mobile à tester.

Ils testent l'obtention de l'appel (absence d'échec), le maintien de la communication pendant 2 minutes (absence de coupure) et la qualité auditive de la communication. Les appels sont passés dans les deux sens : fixe vers mobile (1/3) et mobile vers fixe (2/3).

En cas d'échec ou de coupure dans les 5 premières secondes, une deuxième tentative est effectuée immédiatement. Suivant l'indicateur considéré, le maintien de la communication pendant 2 minutes est évalué sur la base des communications établies dès la première tentative ou celle des communications établies à la première ou la deuxième tentative.

Deux configurations sont testées :

- essais en voiture, avec un mobile portatif en situation conducteur (avec support mains-libres et micro-casque) ou passager (tenu à la main) ;

- essais piétons en extérieur ou à l'intérieur de bâtiments, avec un mobile portatif tenu à la main.

La configuration en voiture est réalisée selon deux variantes : avec antenne de toit et sans antenne de toit (utilisation de l'antenne intégrée au mobile).

Pour les mesures en voiture, les tests sont menés simultanément sur les trois réseaux à tester, depuis le même véhicule. Chaque réseau est testé par un “ couple ” d'enquêteurs, l'un mobile et l'autre fixe.

Pour les mesures piétons, les communications sont passées par le même enquêteur, successivement sur chacun des 3 réseaux. Les essais piétons en intérieur sont réalisés en 1^er jour (pièces avec fenêtres), à moins de 3 mètres des ouvertures. Ils sont répartis entre les rez-de-chaussée et les étages, les sous-sols étant exclus.

Toutes les mesures, tant dans les agglomérations que sur les axes routiers, on été effectuées dans les zones couvertes au 1^er août 1998 par les 3 opérateurs, sur la base des cartes de couverture commerciales fournies par ces derniers. L'enquête n'est pas destinée à mesurer ou à vérifier l'étendue de la couverture des réseaux.

Pendant tout le déroulement de l'enquête, les opérateurs ne connaissaient ni les jours, ni les lieux où s'effectuaient les mesures. Ils ne connaissaient pas non plus la liste des villes tirées au sort parmi les agglomérations de moins de 400 000 habitants.

• Tests de la messagerie vocale

Les mesures sur la messagerie ont été effectuées dans 5 grandes agglomérations, dans des lieux bien couverts par les trois réseaux et sans déplacement. Les enquêteurs travaillaient seuls. Il utilisaient un mobile d'appel pour déposer les messages à l'attention du mobile de test, puis observaient le délai de notification du message, et, après un temps convenu, appelaient la messagerie avec le mobile de test pour obtenir la restitution du message. Les tests s'effectuaient séquentiellement sur les trois réseaux pour constituer une mesure complète.

2. Echantillon

L'échantillon a été construit de manière à, d'une part, distinguer les types d'utilisation et, d'autre part, disposer d'un nombre suffisant de mesures afin d'obtenir une précision satisfaisante pour chaque type d'utilisation.

2.1 Sélection des agglomérations

Les grandes agglomérations, de plus de 400 000 habitants, sont au nombre de 10. Toutes ont été retenues et testées, sauf les 2 (Bordeaux et Toulouse) qui n'étaient pas couvertes par l'un des réseaux au 1^er août 1998.

Les autres agglomérations ont été traitées en 2 sous-ensembles :

• tirage de 20 agglomérations dans la catégorie de 50 000 à 400 000 habitants, au nombre de 98, parmi lesquelles 79 étaient couvertes par les trois réseaux au 1^er août 1998. 
• tirage de 20 agglomérations dans la catégorie de 20 000 et 50 000 habitants, au nombre de 120, dont 88 couvertes par les trois réseaux au 1^er août 1998.

Parmi ces 2 sous-ensembles, le tirage au sort a été effectué selon la méthode suivante :

• détermination d'un nombre d'agglomérations optimal dans chaque catégorie, de manière à effectuer, dans chaque agglomération, un nombre de mesures qui soit cohérent avec sa taille : 20 agglomérations à choisir parmi celles dont la population est comprise entre 50 000 et 400 000 habitants et 30, parmi celles dont la population est comprise entre 20 000 et 50 000 habitants ;
• détermination d'une loi logarithmique de correspondance entre la population de l'agglomération et le nombre de mesures à y effectuer (si elle est tirée). Réglage de cette loi pour obtenir les bornes et le nombre total de mesures attendues ;
• classement des agglomérations selon leur population, et subdivision en autant de classes que d'agglomérations à tirer, de façon que chaque classe totalise un nombre égal de mesures d'après la loi logarithmique définie ;
• tirage aléatoire d'une agglomération par classe ;
• rectification du tirage pour équilibrer les diverses régions du territoire, en remplaçant les agglomérations des régions excédentaires par les agglomérations des régions déficitaires les plus voisines sur la liste.

Cette méthode de tirage renforce volontairement la représentation des petites agglomérations par rapport à un tirage où chaque agglomération aurait été affectée d'une probabilité proportionnelle à sa population.

Cependant, on a pu vérifier a posteriori qu'un redressement qui reconstitue une représentativité proportionnelle à la population ne joue pas sensiblement sur les résultats (ne modifie que la première décimale des notes et non leur arrondi).

2.2 Conditions de mesures dans les agglomérations

Après avoir ainsi déterminé la localisation et le nombre des mesures, un certain nombre de conditions supplémentaires ont été prises en compte :

• Localisation des tests

D'une façon générale, l'extension de chaque agglomération testée correspond à la définition de l'INSEE donnant la liste des communes appartenant à l'agglomération.

Dans chaque agglomération, on distingue la “ ville ”, qui est la commune principale, et la “ banlieue ” qui correspond au reste de l'agglomération. La répartition des différents tests entre ville et banlieue dépend du type de mesure effectuée.

• Mesures en voiture

Dans les grandes agglomérations, les mesures sont faites uniquement en banlieue, en configuration conducteur. Dans les autres agglomérations leur répartition est de 2/3 dans les villes et 1/3 dans les banlieues. Toutes les mesures y sont effectuées en configuration passager.

• Répartition des mesures piétons (en extérieur / en intérieur)

Dans les grandes agglomérations, ces mesures sont réparties selon l'échantillon défini dans le tableau présenté page 9. Dans les autres agglomérations elles sont réparties pour 2/3 en extérieur et 1/3 en intérieur. Les résultats de ces mesures sont regroupés sous un seul indicateur.

Mesures piétons en extérieur

Toutes les mesures piétons en extérieur sont effectuées en zone bâtie, y compris en banlieues, en privilégiant les zones fréquentées. Les mesures sont faites pour 2/3 en déplacement et 1/3 sans. Elles sont réparties pour 2/3 dans les villes et 1/3 en banlieues.

Mesures piétons en intérieur

Tous les appels sont passés en 1^er jour (pièce avec fenêtre) à moins de 3 mètres des ouvertures, sans se déplacer. Dans certains lieux publics (gares par exemple) la notion de 1^er jour n'a pas de sens particulier. Les essais se font alors dans les emplacements fréquentés. Aucune mesure n'est faite en sous sol. Dans les grandes agglomérations, les mesures sont réalisées pour moitié en villes et moitié en banlieues. Elles sont réparties selon le type de bâtiment : 50% dans les lieux ouverts au public, 30% dans les immeubles de bureaux, 20% dans des locaux d'habitation. 2/3 des mesures sont faites en rez-de-chaussée, 1/3 en étages (sous-sols exclus). Dans les autres agglomérations elles sont effectués uniquement dans des lieux ouverts au public, dans la ville principale.

2.3 Sélection et conditions de mesures sur les axes routiers

La sélection des axes routiers (autoroutes et nationales) à tester s'est faite en utilisant les trajets de liaison entre les agglomérations sélectionnées, ce qui, compte tenu leur tirage aléatoire, permet d'obtenir un ensemble représentatif des axes routiers. Le mode de parcours pour relier les agglomérations n'a pas été optimisé, de façon à totaliser un kilométrage suffisant pour obtenir le nombre de mesures recherché.

Les axes routiers ainsi sélectionnés avaient un trafic routier moyen supérieur à 4 000 véhicules par jour.

Les mesures ont été effectuées en configuration conducteur et réparties par moitié avec et sans antenne de toit.

3. Notation de la Qualité

La qualité auditive est notée par les enquêteurs mobiles et fixes, qui conversent en permanence, selon une échelle à 4 niveaux :

• Parfaite : aucune perturbation. Qualité équivalente à celle du réseau fixe.
• Acceptable : un peu gêné dans l'écoute par quelques perturbations qui ne gênent toutefois pas la conversation.
• Médiocre : fréquemment gêné dans l'écoute par de nombreuses perturbations, mais il est encore possible de se comprendre.
• Mauvais : il est très difficile de s'entendre, la conversation est impossible.

Chaque enquêteur, mobile et fixe, porte une appréciation sur les communications maintenues 2 minutes. N'est retenue que l'appréciation la plus sévère des deux.

Des dispositions ont été prises à la fois pour garantir une appréciation objective de la qualité de la part des enquêteurs, et pour éviter les divergences d'évaluation et leurs conséquences sur les résultats : les enquêteurs ont été formés spécifiquement pour identifier les perturbations typiques pouvant survenir sur les réseaux mobiles numériques et pour qualifier les communications de façon rigoureuse, notamment à l'aide d'échantillons de communications enregistrées. Puis, pendant l'enquête, ils sont permutés régulièrement sur les réseaux à tester. Au cours des mesures, enfin, ils sont contrôlés par un superviseur.

4. Calendrier de l'enquête

Les mesures ont été effectuées pendant la période du 31 août au 9 octobre 1998. Les appels ont été répartis sur la plage horaire 8 h - 21 h.

5. Equipes et déroulement de l'enquête

Un chef de projet et un superviseur assurent la formation des équipes, l'organisation des itinéraires, le respect des modes opératoires et le bon déroulement de l'enquête.

Les tests en voiture sont réalisés par une équipe de 7 personnes : 1 chauffeur, 3 enquêteurs mobiles, 3 enquêteurs fixes.

Les tests piétons sont réalisés par une équipe de 2 enquêteurs : 1 enquêteur mobile et 1 enquêteur fixe.

Au total, 20 personnes ont été mobilisées pour réaliser l'enquête terrain.

Les enquêteurs fixes sont basés dans les locaux du cabinet Directique (à Paris).

Le travail de chaque équipe est guidé et sécurisé par une application informatique qui rythme les appels, indique le sens de l'appel, etc...

Chaque enquêteur fixe effectue la saisie des résultats de mesures et des repères topographiques, selon ses propres informations et celles que lui communique l'enquêteur mobile pendant les communications (en cas d'échec ou de coupure, l'appréciation sur la qualité est communiquée au cours de la communication suivante).

Le matériel utilisé par les enquêteurs mobiles fait l'objet d'une attention particulière pour éviter que des problèmes puissent influencer les résultats des mesures. Tous les essais se font avec des mobiles 2W (1W en version GSM 1800) de même modèle, le Nokia 6110 (Nokia B 415 en version GSM 1800). L'ensemble du matériel (mobiles, kits, antennes) est contrôlé par des centres techniques des opérateurs, plusieurs fois pendant la durée de l'enquête, et les mobiles sont régulièrement permutés entre les réseaux à tester (pour les réseaux GSM 900).

Carte des villes testées

Carte des axes routiers testés