Par Jérôme Derozard, consultant pour France TV Editions Numériques, et entrepreneur 

Cette semaine l’ARCEP a publié une première édition de son observatoire de la qualité des services internet fixe. Si on se réfère aux conclusions « brutes » du rapport, les abonnés de l’opérateur Bouygues sont les mieux lotis alors que les freenautes sont à l’autre extrémité de l’échelle. C’est particulièrement visible pour la lecture des vidéos en streaming. Mais quand on regarde dans le détail la méthodologie appliquée pour réaliser cette étude on ne peut que s’interroger sur la validité des résultats.

L’Arcep l’indique clairement, en nommant son étude « version – test (bêta) «  (un peu comme une application qui n’aurait pas encore été testée), et en ajoutant un avertissement en première page de l’étude :

Les griefs qui peuvent être adressés à l’étude d’un point de vue de l’internaute sont très bien détaillés dans l’article du blogger Korben.

La première critique concerne le protocole de test utilisé, qui repose sur des robots hébergés dans des « data centers » urbains (Dijon, Paris et sa banlieue, Marseille, Nantes, Toulouse, banlieue de Lyon, banlieue de Strasbourg). Ils ont simulé l’activité de connexion d’un internaute sur des sites jugés « représentatifs » en utilisant des modems Haut débit « standard » fournis par les Fournisseurs d’Accès Internet (FAI) et des outils permettant de reproduire l’effet d’une vitesse de connexion dégradée par la distance.

Cette procédure n’est pas représentative du comportement « réel » des internautes. Des mesures effectuées directement chez un panel d’internautes sur l’ensemble du territoire, ou via un système de « crowdsourcing » des tests (comme le projet européen Samknows) auraient permis d’avoir des mesures plus proches de la réalité. Le fait d’avoir utilisé des robots hébergés dans des centres d’hébergement accueillant également des équipements des FAI fait également craindre que ceux-ci aient mis en place des outils pour « améliorer » la qualité de service spécifiquement pour ces robots.

Ceci amène à la seconde critique contre cette étude : la trop forte influence des FAIs eux-mêmes dans la mise en place de la procédure de tests. Même si des représentants des associations de consommateurs et des experts techniques ont participé à la rédaction des spécifications des tests, les fournisseurs d’accès internet ont été seuls impliqués dans leur mise en œuvre. Les tests ont effectués par la société IP-Label, qui a pour clients tous FAI français (hors Free). Cette société a été choisie - suite à un appel d’offres - par les opérateurs eux-mêmes, réunis au sein de la Fédération Française des Télécoms (dont ne font pas partie ni Free ni Numericable). Les engagements de « transparence » ne suffisent pas à balayer les soupçons de connivence entre le prestataire choisi et les sociétés qu’il devait mesurer.

Ces critiques mettent à mal le premier objectif de l’observatoire, la meilleure information de l’utilisateur.

Du point de vue d’un éditeur de services internet (comme France Télévisions) de nombreuses critiques peuvent également être adressées concernant la capacité de l’observatoire à remplir son second objectif : détecter les atteintes à la Neutralité du Net.

Tout d’abord au niveau de la liste des sites représentatifs testés par les robots, liste dont ont été exclus un grand nombre d’acteurs du web comme ceux de France TV.

Raison invoquée : la majorité du trafic proviendrait de Pluzz qui est un site de streaming. Passons sur le fait qu’il aurait été facile d’exclure le trafic spécifique à ce service ; l’autre surprise de l’étude est que Pluzz n’a pas été intégré au panel des sites de streaming, tout comme l’ensemble des sites de vidéo à la demande ou de Replay.

En revanche le site « Metacafé » a été intégré au panel, alors qu’il s’agit d’un site pratiquement inconnu en France (la majorité du trafic provient d’Inde, Pakistan, ou Indonésie selon Alexa)

L’explication avancée est d’ordre technique : le protocole de tests (pour rappel, défini par les FAI) impliquait que les vidéos téléchargées par les robots aient été uploadées par le prestataire sur le site testé, ce qui n’est possible que sur des sites de type « User Generated Content » comme YouTube, Dailymotion, Vimeo ou Metacafé. L’indicateur « streaming » n’en est donc pas un ; il s’agit d’un indicateur « accès aux vidéos générées par l’utilisateur ».

En outre on remarquera que Skype a été exclus de la mesure, ainsi que l’ensemble des sites Apple qui comprend le trafic iTunes et Facetime (raison invoquée : une grande part du trafic proviendrait des mises à jour iOS).

Dernier point et non des moindres : la procédure de test exclut le trafic provenant des services IPTV managés des opérateurs et de leurs box IPTV (qui ne sont pas intégrés dans les robots de test). Ceux-ci ont un impact très important sur les performances des services de l’internet « ouvert » en ADSL (majorité des accès en France), comme indiqué dans le tableau fourni dans le rapport :

Quand on combine ces différents éléments, on en vient à la conclusion que la procédure de test de l’observatoire telle que définie ne pourra pas détecter les éventuelles dégradations de qualité de service mises en place par les FAI à l’encontre des services OTT concurrents à leurs propres services. Cela inclus les éventuelles mesures pour pénaliser :

• Les services de vidéo à la demande qui ne passent pas par les réseaux managés
• Les services d’audio et vidéo conférence comme Skype
• Les Smart TV et box OTT type Chromecast, Apple TV … qui offrent des services similaires à ceux fournis par les box IPTV.

Ainsi si l’un des FAI concernés par l’étude mettait en place un ralentissement systématique de tous les services de vidéo à la demande « over the top » qui ne passent ni par son réseau managé ni par sa box (moyennant rémunération), l’effet de cette mesure sur le trafic ne serait pas visible pour l’observatoire.

Encore plus fort : le FAI pourrait même se voir attribuer la meilleure note dans la catégorie streaming s’il améliorait en parallèle la qualité des services vidéo « user generated » qui eux ne concurrencent pas ses propres services. On fait mieux en matière d’information de l’utilisateur !

Pour conclure, l’observatoire dans sa version Beta ne remplit aucun des deux objectifs qui lui sont fixés : une meilleure information des utilisateurs et une préservation de la neutralité des réseaux.

Espérons que la version finale fera mieux !