Les annonces d'Apple : intelligence artificielle et respect de la vie privée

Par Jérôme Derozard, consultant et entrepreneur

Apple organisait lundi soir sa « keynote » d’ouverture du WWDC, point final d’une série de conférences pour développeurs débutée en Avril par Facebook puis Microsoft et Google, chacun vantant les mérites de ses plateformes maison. Apple a proposé de son côté pas moins de quatre plateformes, depuis watchOS pour les montres connectées, iOS pour les mobiles et tablettes, macOS (anciennement OSX) pour les ordinateurs jusqu’à tvOS pour les TV. L’écosystème Apple c’est aujourd’hui 2 millions d’applications, 130 milliards de téléchargements et un chiffre d’affaires cumulé de 50 milliards de dollars pour les développeurs.

De quoi capter leur attention vers les nouveautés proposées cette année, qui font la part belle à l’Intelligence Artificielle et à la protection de la vie privée, véritable enjeu de différenciation pour Apple.

Retrouvez notre Best-of Snapchat sur la Keynote d'Apple, pour ceux qui n'ont pas le courage de lire tout l'article

WatchOS

Du côté de watchOS tout d’abord. La plateforme pour montres connectées a été lancée il y a un peu plus d’un an, et sa version 3 propose des améliorations de performance, telle la possibilité de conserver les applications en arrière-plan afin de les lancer plus rapidement et de rafraîchir leurs données en continu.

01

L’Apple Watch doit cependant encore améliorer ses capacités de prédiction footballistique !

WatchOS 3 propose aussi des améliorations en termes d’ergonomie avec un « dock » d’applications et la possibilité d’afficher des mini-notifications sur l’écran principal de la montre (qui affiche l’heure en général), bizarrement nommées « complications ». Une nouvelle fonctionnalité de reconnaissance d’écriture est disponible, supportant les idéogrammes (un point important pour séduire l’imposant marché chinois ). On notera également l’arrivée de nouvelles fonctions de suivi d’activité et de « méditation » directement intégrées dans le système d’exploitation, qui viennent ainsi concurrencer certaines applications tierces.

Box TV

Sur le (grand) petit écran Apple tente d’imposer sa box TV face à ses deux concurrents principaux aux Etats-Unis : Roku et Amazon. Avec 1.300 « chaînes » vidéo, 6.000 applications et 650.000 séries et films TV disponibles, l’Apple TV a réussi à attirer les principaux fournisseurs de contenu à la demande.

L’objectif pour Apple est à présent de simplifier l’accès aux chaînes en direct afin de positionner son produit en alternative aux box opérateurs. A cette fin la société a annoncé l’arrivée de deux bouquets de chaînes accessibles via internet (« OTT »): Sling aux Etats-Unis et Molotov en France, qui sera lancé en exclusivité sur Apple TV le mois prochain.

Apple n’oublie pas les fidèles du câble avec une connexion simplifiée (« single sign on ») pour s’authentifier dans toutes les applications des chaînes TV d’un bouquet avec un seul identifiant. Siri se voit enfin doté d’une fonctionnalité « live tune-in » pour lancer directement la lecture d’une chaîne TV dans une application tvOS par commande vocale (ex : « regarder France 2 »). Ces deux dernières fonctions seront également disponibles sur iPhone et iPad.

Parmi les autres nouveautés de tvOS 10 on notera l’arrivée de nouvelles APIs comme « ReplayKit », pour enregistrer des programmes audio et vidéos, « UserNotifications » pour déclencher des alertes hors application, « Multipeer Connectivity » pour détecter automatiquement d’autres appareils à proximité ou « HomeKit » pour utiliser l’Apple TV comme centrale domotique.

Apple travaille également l’ergonomie général du système : un nouveau mode « sombre » est proposé ; le moteur de recherche de Siri supporte plus d’applications (mais toujours sans API publique) et peut catégoriser les contenus par thème ou sujets ; les applications sont automatiquement installées sur Apple TV lorsque la version mobile est téléchargée ; il est maintenant possible de copier/coller du texte depuis un iPhone ou iPad ou d’utiliser son clavier pour saisir des informations sur l’Apple TV ; enfin une nouvelle version de l’application « télécommande virtuelle » pour iOS réplique toutes les fonctionnalités disponibles sur la télécommande physique. Aucune annonce concernant une évolution de la box Apple TV elle-même, avec par exemple l’arrivée de l’UHD et du HDR – rendez-vous peut-être en Septembre lors du lancement du nouvel iPhone.

macOS

Sur les ordinateurs, le système d’exploitation des Mac est renommé, « macOS » faisant son retour à la place d’« OSX ». La version « Sierra » intègre de nouvelles fonctionnalités issues d’iOS dont Apple Pay qui permettra de payer sur un site web en utilisant son compte Apple Pay (via Safari uniquement), la transaction étant validée depuis son iPhone ou son Apple Watch. A noter qu’Apple Pay arrivera en France le mois prochain en partenariat avec certains magasins et établissements financiers. Toujours sur Safari, il sera possible de détacher une vidéo dans une fenêtre flottante (fonction « Picture in Picture ») pour continuer à la regarder tout en utilisant une autre application. Les app extensions pour Safari font aussi leur apparition, se rapprochant du modèle des extensions de Chrome et Firefox, et seront disponibles dans l’appstore.

03

Intégration d’Apple Pay sur un site web avec validation via iPhone ou Apple Watch

Mais la plus grande nouveauté est l’arrivée attendue de Siri sur MacOS, proposant une interface conversationnelle pour lancer des recherches ou démarrer des applications par commande vocale, comme Cortana sur Windows 10. Certains utilisateurs auront sans doute plus de facilité à parler à Siri depuis leur ordinateur personnel plutôt que leur mobile en public (sauf ceux qui travaillent en Open Space).

iOS10

Du côté des iPhone, Siri et plus généralement l’AI est au cœur des nouvelles fonctionnalités d’iOS 10, avec l’ouverture tant attendue aux tiers via Sirikit, un kit de développement (SDK) dédié. Celui-ci n’est pour l’instant accessible qu’à certains types d’applications : communication audio/vidéo (type Skype), messagerie (Whatsapp), paiement (Square), recherche de photos (Pinterest), exercices physiques (Runtastic) ou réservation de voiture (Uber). Les APIs disponibles permettent de déclencher des actions dans une application (« intents extension ») et d’afficher les écrans correspondants directement dans l’interface Siri (« intents UI »).

Certaines de ces intégrations sont également disponibles dans Apple Maps, où il sera possible de commander une voiture ou réserver une table via une application tierce. On notera que l’intégration de WeChat était citée en exemple, nouvelle marque d’intérêt pour le marché chinois.

04

Exemple d’intégration entre Siri et une application – ici WeChat

Les suggestions d’applications font aussi leur apparition, et permettent à iOS de proposer une app en fonction du contexte de l’utilisateur (localisation, usage, heure…) et des cas d’utilisation définis par son développeur. Le clavier Quicktype intègre lui aussi de nouvelles fonctionnalités « intelligentes », comme les suggestions de réponse en fonction du contexte, l’accès proactif à certaines fonctions du smartphone comme la position géographique ou le calendrier...

Idem pour l’application Apple photos, qui classe automatiquement les photos par personne, scène, date, position géographique et crée des diaporamas automatiquement via le nouveau « memories ». Apple Photo reprend ainsi des fonctions disponibles sur Google Photos ou Facebook Moments ; toutefois Apple met en avant la protection de la vie privée, les traitements étant faits en local sur le téléphone et non via des serveurs centralisés comme chez ses concurrents. Il faudra voir à l’usage si cette approche est aussi efficace, les algorithmes IA devant être mis à jour en permanence pour en améliorer la fiabilité – ce qui est plus facile à faire sur un serveur centralisé que sur une application distribuée. On notera d’ailleurs que les applications embarquées sur iOS seront mises à jour via l’appstore (et accessoirement permettre aux utilisateurs de supprimer les applications indésirables).

05

Dans le domaine de la téléphonie, iOS 10 intègre des fonctions de reconnaissance vocale pour transcrire automatiquement en texte les messages vocaux reçus ainsi qu’une API permettant de connaître l’identité d’une personne qui appelle. Les applications de voix sur IP (VoIP) pourront mieux s’intégrer à iOS, la réception d’un appel VoIP apparaissant de façon similaire à un appel téléphonique traditionnel – les opérateurs apprécieront ! L’application iMessage est aussi mise à jour pour faire la part belle aux émojis, avec un système « prédictif » pour remplacer les mots saisis par les émojis correspondants. Le nouvel iMessage essaie aussi de séduire la génération Snapchat avec de nombreux effets visuels, la possibilité de partager les battements de son cœur ou un texte manuscrit. Pour les développeurs de nouvelles APIs, semblables au SDK proposé l’année dernière par Facebook sur Messenger, permettent d’insérer des contenus provenant d’autres applications dans les messages, depuis les simples stickers jusqu’aux widgets interactifs. En revanche aucune API n’est encore disponible permettant de développer des « bots ». En outre l’application reste disponible uniquement sur iOS.

06

Exemples d’applications intégrées à Messenger

Autre application mise à jour sur iOS 10 : Apple Music. Les 15 millions d’abonnés payants (sur iOS et Android) bénéficieront prochainement d’une interface revue, de recommandations et playlists automatiques et de l’accès aux paroles des chansons. Comme l’année dernière aucune API n’est cependant disponible, et les nouvelles fonctionnalités viennent concurrencer un peu plus les autres applications musicales de l’Appstore – toujours paradoxal pour un évènement développeur. L’application d’agrégation d’actualités Apple News (non disponible en France) offrira bientôt un support des abonnements, et l’affichage de notifications d’actualité sur l’écran d’accueil, entrant là aussi en concurrence avec les applications des éditeurs. Enfin une nouvelle application « Home » offrira une interface unique pour contrôler depuis un iPhone, un iPad ou une Apple Watch tous ses appareils domestiques compatibles HomeKit. Grâce à l’Apple TV il sera même possible de contrôler les appareils à distance, en utilisant la box comme relais. Toutes ses applications seront accessibles aux utilisateurs via la Beta publique qui commencera cet été.

Vie privée et code

La fin de la keynote a été l’occasion pour Apple de mettre en avant deux de ses « combats ». Sa volonté de protéger la vie privée de ses utilisateurs tout d’abord, en intégrant un chiffrement de bout en bout dans ses applications (dont iMessages, Facetime et Home) et en incitant les développeurs à utiliser des protocoles de chiffrement modernes pour empêcher les interceptions. En ne profilant pas les utilisateurs comme ses concurrents Facebook ou Google le font abondamment ensuite et en effectuant la majorité des traitements d’IA en local sur les appareils et non sur des serveurs centralisés.

07

iOS 10 propose ainsi des APIs de réseaux neuronaux permettant aux développeurs d’intégrer des fonctionnalités d’apprentissage en local dans leurs applications. Malgré tout pour améliorer les algorithmes prédictifs, il peut être nécessaire pour Apple de remonter des données d’usage sur un serveur central pour y effectuer des traitements de type « big data ». Afin de garantir la protection des données personnelles, Apple a recours au concept d’« intimité différentielle», sensé empêcher via des algorithmes l’identification des personnes à l’origine des données traitées, notamment par la génération de « bruit » (fausses données).

Autre sujet important pour Apple : la démocratisation de l’apprentissage du code, via la publication d’une nouvelle application, Swift Playground, qui propose des exercices ludiques pour apprendre à coder dans le langage maison. De nombreux « jeunes codeurs » étaient d’ailleurs présents à la keynote, dont la plus jeune n’a que 9 ans. L’application est gratuite, mais ne fonctionne que sur les iPad qui ne sont pas à la portée de toutes les écoles ou de tous les parents.

08

Au final que retenir de cette keynote ?

Qu’avec ses applications natives Apple est plus que jamais en concurrence avec les autres grands de la technologie – Microsoft, Amazon, Google, Facebook – sur tous les terrains de bataille des apps : messagerie, musique, plans, photo, TV, musique, actualité, maison connectée, recherche…

Mais qu’en parallèle la société ouvre de plus en plus ses plateformes à ces mêmes concurrents leur permettant de proposer des apps qui sont – presque – au même niveau que les applications natives.

Aussi pour continuer à dominer son propre écosystème le groupe de Cupertino compte sur ses qualités traditionnelles que sont l’ergonomie et la meilleure intégration entre matériel et logiciel. Mais elle compte aussi de plus en plus sur sa politique de protection de la vie privée qui fait de l’une de ses faiblesses – le traitement centralisé des données ou cloud computing – une force.

Approche louable d’un point de vue éthique mais risquée d’un point de vue technique, la plupart des recherches autour de l’IA reposant aujourd’hui sur l’utilisation de ce même cloud computing. En voilà une opportunité pour Apple de dépenser ses importantes réserves de liquidités pour faire progresser la recherche IA dans ce sens !

00