Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Un ancien travailleur de Google craint que des « robots tueurs » ne provoquent des atrocités massives,
L'ingénieur logiciel prévient que l'IA pourrait aussi déclencher accidentellement une guerre

Le , par Stan Adkens

22PARTAGES

19  0 
Les inquiétudes liées au développement d’une nouvelle génération d'armes autonomes ou de « robots tueurs » ont encore fait la une des médias ce week-end. Laura Nolan, qui a démissionné de Google l'année dernière en signe de protestation contre son affectation dans un projet visant à améliorer considérablement la technologie des drones militaires du Pentagone, a demandé l'interdiction de toutes les machines à tuer qui ne sont pas utilisées par des humains, selon un rapport du quotidien britannique The Guardian. L’ex-ingénieur logiciel de Google a averti que ce nouveau type d’armes pourrait accidentellement déclencher une guerre ou provoquer des atrocités de masse.

Selon Nolan, contrairement aux drones, qui sont contrôlés par des équipes militaires souvent à des milliers de kilomètres de l'endroit où l'arme volante est déployée, les robots tueurs ont le potentiel de faire « des choses calamiteuses pour lesquelles ils n'étaient pas programmés à l'origine ». Nolan a déclaré que les robots tueurs qui ne sont pas guidés par une télécommande humaine devraient être interdits par le même type de traité international qui interdit les armes chimiques.


Nolan a été choisie pour travailler dans l’équipe Google affectée au Project Maven en 2017 après qu'elle ait été employée par l’entreprise pendant quatre ans, période au cours de laquelle elle était devenue l'une de ses meilleures ingénieurs en informatique en Irlande, a rapporté The Guardian. Bien qu'elle ne travaille plus sur le projet Maven, Nolan a prédit que les armes autonomes en cours de développement présentent un risque bien plus grand pour la race humaine que les drones télécommandés.

Nolan, qui s'est jointe à la Campagne pour arrêter les robots tueurs et a informé les diplomates de l'ONU à New York et à Genève des dangers posés par les armes autonomes, a déclaré : « La probabilité d'une catastrophe est proportionnelle au nombre de ces machines qui se trouveront dans une zone donnée à la fois. Ce que vous voyez, ce sont des atrocités et des assassinats illégaux possibles, même en vertu des lois de la guerre, surtout si des centaines ou des milliers de ces machines sont déployées ».

Nolan a ajouté qu’elle avait des craintes concernant des potentiels comportements inattendus de ces nouvelles armes : « Il pourrait y avoir des accidents à grande échelle parce que ces choses commenceront à se comporter de façon inattendue. C'est pourquoi tout système d'armement avancé devrait être soumis à un contrôle humain significatif, sinon il faut l'interdire parce qu'il est beaucoup trop imprévisible et dangereux ».

Toutefois, rien n'indique que Google soit impliqué dans le développement de systèmes d'armes autonomes. The Guardian a rapporté que le mois dernier, un groupe d'experts gouvernementaux de l'ONU a débattu des armes autonomes et a constaté que Google renonçait à l'IA pour l'utilisation dans les systèmes d'armes et s'engageait dans les meilleures pratiques.

Des rapports ont révélé, en mars 2018, la participation de Google dans le projet Maven, un contrat de plusieurs milliards de dollars avec le Pentagone. Selon l’un des rapports, le projet Maven viserait à rendre les frappes de drones plus favorables aux civils. En avril, Google a déclaré que « La technologie est utilisée pour signaler des images à des fins de revue humaine et vise à sauver des vies et à éviter aux gens d'avoir à faire un travail fastidieux ».

L’implication de Google dans ce projet a soulevé plusieurs questions d’ordre éthique. Des organisations comme l’EFF et l’ICRAC ont mis en garde contre une éventuelle utilisation de l’IA pour développer des armes et pour la guerre. Google a laissé le contrat de Project Maven expirer en mars 2018 après que plus de 3 000 de ses employés ont signé une pétition en signe de protestation contre l'implication de l'entreprise. Google a publié ensuite un guide regroupant les principes auxquels la société adhère pour le développement de l’intelligence artificielle, y compris un engagement à ne pas utiliser son IA pour développer des armes.

« Bien que je n'aie pas été directement impliqué dans l'accélération de la reconnaissance des séquences vidéo, j'ai réalisé que je faisais toujours partie de la chaîne de la mort »

Dans le projet Maven du Pentagone, il avait été demandé à Nolan et à d'autres de construire un système où les machines à IA pourraient différencier les personnes et les objets à un rythme infiniment plus rapide. Voici ce qu’a déclaré Nolan à propos de son travail dans le projet, d’après le rapport du Guardian :

« En tant qu'ingénieur de fiabilité de site, mon expertise chez Google était de m'assurer que nos systèmes et nos infrastructures fonctionnaient toujours, et c'est ce que j'étais censé aider Maven avec. Bien que je n'aie pas été directement impliqué dans l'accélération de la reconnaissance des séquences vidéo, j'ai réalisé que je faisais toujours partie de la chaîne de la mort ; que cela conduirait finalement à ce que davantage de personnes soient ciblées et tuées par les militaires américains dans des endroits comme l'Afghanistan ».

Selon des explications de Nolan, des forces externes, allant des systèmes météorologiques changeants aux machines incapables d'élaborer un comportement humain complexe, peuvent faire dévier les robots tueurs de leur trajectoire, avec des conséquences qui peuvent être fatales.


« Vous pourriez avoir un scénario où des armes autonomes, qui ont été envoyées pour faire un travail, font face à des signaux radar inattendus dans une zone qu'ils cherchent ; il pourrait y avoir des conditions météorologiques qui n'ont pas été prises en compte dans son logiciel ou ils pourraient rencontrent un groupe d'hommes armés qui semblent être des ennemis insurgés alors qu’ils sont en fait à la recherche de nourriture. La machine n'a pas le discernement ou le bon sens que le toucher humain a ».

Selon Nolan, un autre aspect effrayant de ces armes autonomes, concerne les tests. D’après elle, les vrais tests de ces armes ne sont effectués qu’en situation réelle de guerre en zone de combat. « C'est peut-être ce qui se passe actuellement avec les Russes en Syrie, qui sait ? Ce que nous savons, c'est qu'à l'ONU, la Russie s'est opposée à tout traité et encore moins à l'interdiction de ces armes, soit dit en passant », a-t-elle dit.

« Si vous testez une machine qui prend ses propres décisions concernant le monde qui l'entoure, il faut que ce soit en temps réel. D'ailleurs, comment former un système qui ne fonctionne qu'avec un logiciel pour détecter les comportements humains subtils ou distinguer la différence entre les chasseurs et les insurgés ? Comment la machine à tuer peut-elle faire la distinction entre le combattant de 18 ans et le jeune de 18 ans qui chasse les lapins ? », s’est questionnée Nolan.

Selon l’ancien ingénieur logiciel chez Google, la capacité de convertir des drones militaires en armes autonomes non guidées par les humains, « n'est aujourd'hui qu'un problème logiciel qui peut être résolu relativement facilement », a déclaré M. Nolan.

Elle a déclaré qu'elle souhaitait que le gouvernement irlandais adopte une position plus ferme en soutenant l'interdiction de ces armes. Nolan n’est pas contre les systèmes de guidage de missiles ou les systèmes de défense antimissile, car ils sont entièrement sous le contrôle humain et quelqu'un doit en fin de compte rendre des comptes. Mais, pour elle, les robots tueurs constituent un changement tant éthique que technologique dans le domaine de la guerre.

« Très peu de gens en parlent, mais si nous ne faisons pas attention à une ou plusieurs de ces armes, ces robots tueurs pourraient accidentellement déclencher une guerre éclair, détruire une centrale nucléaire et causer des atrocités de masse ».

D’autres potentielles menaces d’armes autonomes semblables à Skynet de la saga Terminator

Selon un rapport de The Intercept publié en 2015, en épluchant les documents divulgués par Edward Snowden, il s’est trouvé que la NSA a développé un programme baptisé Skynet. Le but de ce programme étant d’analyser l’emplacement et les métadonnées des appels téléphoniques issus des enregistrements de masse afin de définir, à partir de ces résultats, les personnes terroristes ou celles ayant un lien avec le terrorisme. Selon The Intercept, ce programme de recherche a permis d’étiqueter plusieurs personnes comme étant de connivence avec le terrorisme.

Selon un rapport d’étude publié en août dernier par l’ONG néerlandaise Pax, Amazon, Microsoft ou Intel seraient en bonne place pour la création potentielle de « Skynet ». L’enquête, qui a interrogé les principaux acteurs du secteur sur leur position concernant les armes autonomes meurtrières, a conclu que 22 entreprises sont « moyennement préoccupantes », tandis que 21 ont été classées dans la catégorie des entreprises « très préoccupantes », notamment Amazon et Microsoft.

Pour rappelle, ces deux entreprises américaines ont soumissionné pour obtenir un contrat de 10 milliards de dollars du Pentagone pour fournir l'infrastructure de cloud computing à l'armée américaine. Les deux entreprises sont les finalistes à la course au contrat de cloud JEDI du Pentagone. La Campagne pour arrêter les robots tueurs pourrait-elle interrompre le développement en cours des nouvelles armes autonomes ?

Sources : The Guardian

Et vous ?

Qu’en pensez-vous ?
« La probabilité d'une catastrophe est proportionnelle au nombre de ces machines qui se trouveront dans une zone donnée à la fois… ». Que pensez-vous de cette déclaration et des autres déclarations de Nolan ?
Êtes-vous pour ou contre le développement des armes létales autonomes ? Pourquoi ?
Y a-t-il espoir que la Campagne pour arrêter les robots tueurs puisse arrêter la production et l’utilisation de ces armes ?

Lire aussi

Google aide le Pentagone à développer une IA pour analyser les vidéos capturées par drone, et certains de ses employés sont furieux
IA : Google ne renouvellera pas son contrat avec le DoD dans le projet controversé Maven, sa réputation est mise en jeu
La NSA a développé un programme baptisé Skynet, pour identifier les terroristes en se basant sur la localisation et les métadonnées des communications
Intelligence artificielle : Amazon, Microsoft ou Intel seraient en bonne place pour la création potentielle de "Skynet", d'après une étude
Trolldi : Skynet de la saga Terminator débarquerait-il en Chine ? Le pays présente AnBot, un robot connecté au supercalculateur Tianhe-2

Une erreur dans cette actualité ? Signalez-le nous !

Avatar de i5evangelist
Membre averti https://www.developpez.com
Le 16/09/2019 à 16:56
Bah en fait, si le robot autonome possède un cœur développé en Java et que le ramasse miettes démarre ...
Ok, je sors
3  0 
Avatar de yoyo3d
Membre éclairé https://www.developpez.com
Le 17/09/2019 à 13:33
les potentiels "robots tueurs" évoqués par la gugus de chez google ont une autonomie et des capacités limités.
avant d'en arriver à flinguer en masse, il faudrait:
- que le bug original passe inaperçu,
- que les robots arrivent à se coordonner pour générer une attaque surprise et massive,
- qu'ils puissent se ravitailler
....
le potentiel destructeur humain à encore de la marge avant d’être dépassé par skynet
3  1 
Avatar de Jesus63
Membre régulier https://www.developpez.com
Le 16/09/2019 à 16:32
J'ai une simple question, peut-être bêta, mais comment déclenche-t-on "accidentellement" une guerre ? Une guerre est généralement portée par un contexte géopolitique en tension et un(e) besoin/disposition de ressources inégal(e) entre les partis hostiles.

D'ailleurs, les déclencheurs de guerre ne sont souvent que des actes "mineurs".

J'ai du mal à comprendre le concept de guerre "accidentelle"; Si une guerre arrive, elle n'est pas nécessairement voulue mais elle n'en est pas accidentelle pour autant...
0  0 
Avatar de Conan Lord
Expert confirmé https://www.developpez.com
Le 16/09/2019 à 17:01
Citation Envoyé par Jesus63 Voir le message

D'ailleurs, les déclencheurs de guerre ne sont souvent que des actes "mineurs".
Tu as ta réponse ici je pense. Si une guerre est déclenchée suite à un acte mineur (ou pas d'ailleurs) qui se trouve être un accident, alors on peut dire que l'auteur de cet acte mineur a accidentellement déclenché une guerre.
0  0 
Avatar de Jamatronic
Membre éclairé https://www.developpez.com
Le 16/09/2019 à 18:48
"Nous sommes tellement incompétents que nous ne sommes pas capables de prévoir le comportement de nos machines, en conséquence de quoi vous devez vous attendre à vous faire tuer pour rien."

"Ah mais non ! Dormez braves gens ! Tout va bien ! On va interdire la chose par des lois et vous ne risquerez plus rien."

0  0 
Avatar de Ryu2000
Membre extrêmement actif https://www.developpez.com
Le 17/09/2019 à 10:29
Citation Envoyé par Jesus63 Voir le message
J'ai une simple question, peut-être bêta, mais comment déclenche-t-on "accidentellement" une guerre ? Une guerre est généralement portée par un contexte géopolitique en tension et un(e) besoin/disposition de ressources inégal(e) entre les partis hostiles.
Je crois que le scénario c'est qu'un robot tueur fait une mission quelconque, après il confond des innocents pour des ennemis, il les tue et ça peut démarrer une guerre :
Citation Envoyé par Stan Adkens Voir le message
« Vous pourriez avoir un scénario où des armes autonomes, qui ont été envoyées pour faire un travail, font face à des signaux radar inattendus dans une zone qu'ils cherchent ; il pourrait y avoir des conditions météorologiques qui n'ont pas été prises en compte dans son logiciel ou ils pourraient rencontrent un groupe d'hommes armés qui semblent être des ennemis insurgés alors qu’ils sont en fait à la recherche de nourriture. La machine n'a pas le discernement ou le bon sens que le toucher humain a ».
Sur un plus gros système une IA pourrait détruire un bâtiment, ou un véhicule.

Citation Envoyé par ShigruM Voir le message
Quand a la bombe atomique... laissez moi rire il en faudra bien plus pour tuer tous les humains. L'arme atomique c'est pas efficace, les dégâts ont un faible rayon et la radioactivité tombe trop vite.
Les bombes atomiques actuelles n'ont rien à voir avec Fat Man et Little Boy.
Certains pays possèdent des centaines de têtes nucléaires, donc il y a un pouvoir de destruction.

Citation Envoyé par ShigruM Voir le message
Il reste quoi pour tuer les humains ? le réchauffement climatique ? on a déjà survécut a des période glaciaires et de réchauffement et encore a l'époque on avait pas le chauffage ni la clim. On a assez de plante adapté pour nous nourriture même après les + 5 degré qu'on vas se prendre et la disparitions des abeilles.
Quand il y avait des périodes froides en Europe il y avait des famines :
Liste de famines
1788 - Famines entrainant la révolution française, peut-être lié à El Niño ou à l'éruption de 1783 des Lakagígar en Islande.
Aujourd'hui on peut cultiver en indoor ou importer des produits qui sont à 12 000 km, mais ça n'a pas toujours été le cas.

Si les abeilles disparaissent l'équilibre va être détruit et ça va poser beaucoup de problèmes.
Journée mondiale des abeilles : Leur disparition pourrait causer des millions de morts
Le déclin global des pollinisateurs - essentiellement des abeilles et d'autres insectes - pourrait provoquer jusqu'à 1,4 million de morts supplémentaires par an, soit une augmentation de la mortalité mondiale de près de 3 %, révèle une étude publiée dans The Lancet. Cette accroissement de la mortalité résulterait de la combinaison d'une augmentation des carences en vitamine A et en vitamine B9 (contenues dans nombre de fruits et légumes), vitales pour les femmes enceintes et les enfants, et d'une incidence accrue des maladies non transmissibles comme les maladies cardiaques, les accidents vasculaires cérébraux (AVC) et certains cancers. Tels sont donc les phénomènes que provoqueraient, par le biais de modifications alimentaires (liée à la baisse du nombre de fruits, légumes, noix et graines), un effondrement de la population des pollinisateurs. Les carences en vitamine A et vitamine B9 peuvent atteindre les yeux, ce qui peut entraîner la cécité, et provoquer des malformations du système nerveux.
Bon vu comme ça, ça semble être rien du tout, je pense que les conséquences seraient bien pire.
0  0 
Avatar de Ryu2000
Membre extrêmement actif https://www.developpez.com
Le 18/09/2019 à 8:29
Citation Envoyé par ShigruM Voir le message
Mieux encore j'ai chez moi depuis 5 mois de la spiruline dans un aquarium, une algue d'avenir qui peut nourrir 10 milliards d'humains.

Il y a des sportifs qui prennent de 3 à 5g de protéine par kg de poids de corps par jour.
Genre un gars de 100 kg va prendre 300g de protéine par jour, ça coûterait cher de manger 300g de spiruline par jour.

Bon normalement c'est 1,6g de protéine par kg, donc un gars de 80 kg devrait manger 128g de protéine par jour.
Enfin bref ici c'est compliqué d'utiliser la spiruline comme principale source de protéine.

Citation Envoyé par ShigruM Voir le message
avec en plus des super robots capable de planter des légumes pour faire du biodiesel pour s'alimenter, de fabriquer du nitrate pour des munitions... franchement vivement que ces robots débarque qu'il nous sauves la vie !
On me fait un robot jardinier et qui me protège en plus des pilleurs j’achète directe.
Personnellement je préfère le scénario survivaliste : le système s'effondre, il n'y a plus d'argent, plus de pétrole, plus d’électricité, les gens des villes s’entre-tuent, les gens de la campagne cultivent leur nourriture à la main.
En ville il n'y aura pas assez de place pour cultiver suffisamment de nourriture, même en exploitant le maximum de toits. Il y a des groupes de personnes qui utiliseront la violence pour voler des vivres.

Ton scénario c'est le film wall-e, les humains seront des obèses qui ne lèveront jamais leur gros cul, parce que les robots font tout le travail.
En plus quelqu'un pour hacker ton robot jardinier pour qu'il t'assassine pendant ton sommeil.
1  1 
Avatar de ShigruM
Nouveau Candidat au Club https://www.developpez.com
Le 16/09/2019 à 21:30
Les fameux robots tueurs qui ont une autonomie de 5H grand max et qui vont envoyer 15000 requêtes/logs avant de se déplacer de juste 1cm ?
le tous ayant besoin d'une logistique monstrueuse de plusieurs milliers d'hommes pour les fabriquer, acheminer le carburant et les munitions ?

Le jour ou l'ia prend le pouvoir et commence a fabriquer des robots tueurs dans l'usine Peugeot, un gugus vas surrement appuyer sur le disjoncteurs quand il verra la tronche de ces voitures. (a moins que se soit des transformers déguisé)

Non mais franchement un robot tueur qui devient incontrôlable sa tuera 50 gars grand max et avec beaucoup de bol. En somme pas plus que les bavures actuel. Quand a la bombe atomique... laissez moi rire il en faudra bien plus pour tuer tous les humains. L'arme atomique c'est pas efficace, les dégâts ont un faible rayon et la radioactivité tombe trop vite. Seul les parisiens sont menacé.
Les armes bactériologique c'est bien mieux... quoique Ebola n'arrive même pas a quitter l’Afrique.
Il reste quoi pour tuer les humains ? le réchauffement climatique ? on a déjà survécut a des période glaciaires et de réchauffement et encore a l'époque on avait pas le chauffage ni la clim. On a assez de plante adapté pour nous nourriture même après les + 5 degré qu'on vas se prendre et la disparitions des abeilles.

Oui bien-sur on peut tuer quelques milliards d'humains... mais qui serons encore plus nombreux en a peine 1 siècle. Cette espèce elle est nul elle est très résistante, s'adapte a tous et se reproduit en plus trop vite. Que faire mais que faire ?
3  4 
Avatar de ShigruM
Nouveau Candidat au Club https://www.developpez.com
Le 17/09/2019 à 18:24
Citation Envoyé par Ryu2000 Voir le message

Aujourd'hui on peut cultiver en indoor ou importer des produits qui sont à 12 000 km, mais ça n'a pas toujours été le cas.
Oui mais justement comme tu le dit: Aujourd'hui on peut, si l'humain a survécut avant sans alors imagine aujourd'hui... avec en plus des super robots capable de planter des légumes pour faire du biodiesel pour s'alimenter, de fabriquer du nitrate pour des munitions... franchement vivement que ces robots débarque qu'il nous sauves la vie !
On me fait un robot jardinier et qui me protège en plus des pilleurs j’achète directe.

Citation Envoyé par Ryu2000 Voir le message

Aujourd'hui on peut cultiver en indoor ou importer des produits qui sont à 12 000 km, mais ça n'a pas toujours été le cas.

Si les abeilles disparaissent l'équilibre va être détruit et ça va poser beaucoup de problèmes.
Journée mondiale des abeilles : Leur disparition pourrait causer des millions de morts

Bon vu comme ça, ça semble être rien du tout, je pense que les conséquences seraient bien pire.
Oui juste quelques millions de morts... sa vas franchement même 5 milliards de mort c'est rien, dans 1 siècle on sera de nouveau a 7 milliards.... tu parle.
Et aujourd'hui n'importe qui peut se faire chez lui une ferme hydroponique sans abeille. Des solutions existe pour s'en passer. Mieux encore j'ai chez moi depuis 5 mois de la spiruline dans un aquarium, une algue d'avenir qui peut nourrir 10 milliards d'humains.
et encore le top du top c'est la Chlorella, des études on montré que l'organisme peut se nourrir que de sa et vivre longtemps (avec des effets secondaire certe mais dans le pire du pire des cas l'homme pourra quand même vivre avec juste cette plante... qui pousse très très facilement).
Cela dit j'apprend rien en disant que l'avenir c'est pas le bœuf mais les insecte et les algues qui sont assez efficients pour nourrir largement 10 milliards d’êtres humains, c'est de l'adaptation pas du confort.
Alors je ne dis pas que sans les abeille c'est pas grave, juste que sans les abeille les humains ne sont pas menacé pour autant. Par contre il y'aura de l'adaptation j'en conviens et le prix des légumes devrait augmenter ce qui devrait tuer les plus pauvres.
0  5