IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Un ancien travailleur de Google craint que des « robots tueurs » ne provoquent des atrocités massives,
L'ingénieur logiciel prévient que l'IA pourrait aussi déclencher accidentellement une guerre

Le , par Stan Adkens

499PARTAGES

19  0 
Les inquiétudes liées au développement d’une nouvelle génération d'armes autonomes ou de « robots tueurs » ont encore fait la une des médias ce week-end. Laura Nolan, qui a démissionné de Google l'année dernière en signe de protestation contre son affectation dans un projet visant à améliorer considérablement la technologie des drones militaires du Pentagone, a demandé l'interdiction de toutes les machines à tuer qui ne sont pas utilisées par des humains, selon un rapport du quotidien britannique The Guardian. L’ex-ingénieur logiciel de Google a averti que ce nouveau type d’armes pourrait accidentellement déclencher une guerre ou provoquer des atrocités de masse.

Selon Nolan, contrairement aux drones, qui sont contrôlés par des équipes militaires souvent à des milliers de kilomètres de l'endroit où l'arme volante est déployée, les robots tueurs ont le potentiel de faire « des choses calamiteuses pour lesquelles ils n'étaient pas programmés à l'origine ». Nolan a déclaré que les robots tueurs qui ne sont pas guidés par une télécommande humaine devraient être interdits par le même type de traité international qui interdit les armes chimiques.


Nolan a été choisie pour travailler dans l’équipe Google affectée au Project Maven en 2017 après qu'elle ait été employée par l’entreprise pendant quatre ans, période au cours de laquelle elle était devenue l'une de ses meilleures ingénieurs en informatique en Irlande, a rapporté The Guardian. Bien qu'elle ne travaille plus sur le projet Maven, Nolan a prédit que les armes autonomes en cours de développement présentent un risque bien plus grand pour la race humaine que les drones télécommandés.

Nolan, qui s'est jointe à la Campagne pour arrêter les robots tueurs et a informé les diplomates de l'ONU à New York et à Genève des dangers posés par les armes autonomes, a déclaré : « La probabilité d'une catastrophe est proportionnelle au nombre de ces machines qui se trouveront dans une zone donnée à la fois. Ce que vous voyez, ce sont des atrocités et des assassinats illégaux possibles, même en vertu des lois de la guerre, surtout si des centaines ou des milliers de ces machines sont déployées ».

Nolan a ajouté qu’elle avait des craintes concernant de potentiels comportements inattendus de ces nouvelles armes : « Il pourrait y avoir des accidents à grande échelle parce que ces choses commenceront à se comporter de façon inattendue. C'est pourquoi tout système d'armement avancé devrait être soumis à un contrôle humain significatif, sinon il faut l'interdire parce qu'il est beaucoup trop imprévisible et dangereux ».

Toutefois, rien n'indique que Google soit impliqué dans le développement de systèmes d'armes autonomes. The Guardian a rapporté que le mois dernier, un groupe d'experts gouvernementaux de l'ONU a débattu des armes autonomes et a constaté que Google renonçait à l'IA pour l'utilisation dans les systèmes d'armes et s'engageait dans les meilleures pratiques.

Des rapports ont révélé, en mars 2018, la participation de Google dans le projet Maven, un contrat de plusieurs milliards de dollars avec le Pentagone. Selon l’un des rapports, le projet Maven viserait à rendre les frappes de drones plus favorables aux civils. En avril, Google a déclaré que « La technologie est utilisée pour signaler des images à des fins de revue humaine et vise à sauver des vies et à éviter aux gens d'avoir à faire un travail fastidieux ».

L’implication de Google dans ce projet a soulevé plusieurs questions d’ordre éthique. Des organisations comme l’EFF et l’ICRAC ont mis en garde contre une éventuelle utilisation de l’IA pour développer des armes et pour la guerre. Google a laissé le contrat de Project Maven expirer en mars 2018 après que plus de 3 000 de ses employés ont signé une pétition en signe de protestation contre l'implication de l'entreprise. Google a publié ensuite un guide regroupant les principes auxquels la société adhère pour le développement de l’intelligence artificielle, y compris un engagement à ne pas utiliser son IA pour développer des armes.

« Bien que je n'aie pas été directement impliqué dans l'accélération de la reconnaissance des séquences vidéo, j'ai réalisé que je faisais toujours partie de la chaîne de la mort »

Dans le projet Maven du Pentagone, il avait été demandé à Nolan et à d'autres de construire un système où les machines à IA pourraient différencier les personnes et les objets à un rythme infiniment plus rapide. Voici ce qu’a déclaré Nolan à propos de son travail dans le projet, d’après le rapport du Guardian :

« En tant qu'ingénieur de fiabilité de site, mon expertise chez Google était de m'assurer que nos systèmes et nos infrastructures fonctionnaient toujours, et c'est ce que j'étais censé aider Maven avec. Bien que je n'aie pas été directement impliqué dans l'accélération de la reconnaissance des séquences vidéo, j'ai réalisé que je faisais toujours partie de la chaîne de la mort ; que cela conduirait finalement à ce que davantage de personnes soient ciblées et tuées par les militaires américains dans des endroits comme l'Afghanistan ».

Selon des explications de Nolan, des forces externes, allant des systèmes météorologiques changeants aux machines incapables d'élaborer un comportement humain complexe, peuvent faire dévier les robots tueurs de leur trajectoire, avec des conséquences qui peuvent être fatales.


« Vous pourriez avoir un scénario où des armes autonomes, qui ont été envoyées pour faire un travail, font face à des signaux radar inattendus dans une zone qu'ils cherchent ; il pourrait y avoir des conditions météorologiques qui n'ont pas été prises en compte dans son logiciel ou ils pourraient rencontrent un groupe d'hommes armés qui semblent être des ennemis insurgés alors qu’ils sont en fait à la recherche de nourriture. La machine n'a pas le discernement ou le bon sens que le toucher humain a ».

Selon Nolan, un autre aspect effrayant de ces armes autonomes, concerne les tests. D’après elle, les vrais tests de ces armes ne sont effectués qu’en situation réelle de guerre en zone de combat. « C'est peut-être ce qui se passe actuellement avec les Russes en Syrie, qui sait ? Ce que nous savons, c'est qu'à l'ONU, la Russie s'est opposée à tout traité et encore moins à l'interdiction de ces armes, soit dit en passant », a-t-elle dit.

« Si vous testez une machine qui prend ses propres décisions concernant le monde qui l'entoure, il faut que ce soit en temps réel. D'ailleurs, comment former un système qui ne fonctionne qu'avec un logiciel pour détecter les comportements humains subtils ou distinguer la différence entre les chasseurs et les insurgés ? Comment la machine à tuer peut-elle faire la distinction entre le combattant de 18 ans et le jeune de 18 ans qui chasse les lapins ? », s’est questionnée Nolan.

Selon l’ancien ingénieur logiciel chez Google, la capacité de convertir des drones militaires en armes autonomes non guidées par les humains, « n'est aujourd'hui qu'un problème logiciel qui peut être résolu relativement facilement », a déclaré M. Nolan.

Elle a déclaré qu'elle souhaitait que le gouvernement irlandais adopte une position plus ferme en soutenant l'interdiction de ces armes. Nolan n’est pas contre les systèmes de guidage de missiles ou les systèmes de défense antimissile, car ils sont entièrement sous le contrôle humain et quelqu'un doit en fin de compte rendre des comptes. Mais, pour elle, les robots tueurs constituent un changement tant éthique que technologique dans le domaine de la guerre.

« Très peu de gens en parlent, mais si nous ne faisons pas attention à une ou plusieurs de ces armes, ces robots tueurs pourraient accidentellement déclencher une guerre éclair, détruire une centrale nucléaire et causer des atrocités de masse ».

D’autres potentielles menaces d’armes autonomes semblables à Skynet de la saga Terminator

Selon un rapport de The Intercept publié en 2015, en épluchant les documents divulgués par Edward Snowden, il s’est trouvé que la NSA a développé un programme baptisé Skynet. Le but de ce programme étant d’analyser l’emplacement et les métadonnées des appels téléphoniques issus des enregistrements de masse afin de définir, à partir de ces résultats, les personnes terroristes ou celles ayant un lien avec le terrorisme. Selon The Intercept, ce programme de recherche a permis d’étiqueter plusieurs personnes comme étant de connivence avec le terrorisme.

Selon un rapport d’étude publié en août dernier par l’ONG néerlandaise Pax, Amazon, Microsoft ou Intel seraient en bonne place pour la création potentielle de « Skynet ». L’enquête, qui a interrogé les principaux acteurs du secteur sur leur position concernant les armes autonomes meurtrières, a conclu que 22 entreprises sont « moyennement préoccupantes », tandis que 21 ont été classées dans la catégorie des entreprises « très préoccupantes », notamment Amazon et Microsoft.

Pour rappelle, ces deux entreprises américaines ont soumissionné pour obtenir un contrat de 10 milliards de dollars du Pentagone pour fournir l'infrastructure de cloud computing à l'armée américaine. Les deux entreprises sont les finalistes à la course au contrat de cloud JEDI du Pentagone. La Campagne pour arrêter les robots tueurs pourrait-elle interrompre le développement en cours des nouvelles armes autonomes ?

Sources : The Guardian

Et vous ?

Qu’en pensez-vous ?
« La probabilité d'une catastrophe est proportionnelle au nombre de ces machines qui se trouveront dans une zone donnée à la fois… ». Que pensez-vous de cette déclaration et des autres déclarations de Nolan ?
Êtes-vous pour ou contre le développement des armes létales autonomes ? Pourquoi ?
Y a-t-il espoir que la Campagne pour arrêter les robots tueurs puisse arrêter la production et l’utilisation de ces armes ?

Lire aussi

Google aide le Pentagone à développer une IA pour analyser les vidéos capturées par drone, et certains de ses employés sont furieux
IA : Google ne renouvellera pas son contrat avec le DoD dans le projet controversé Maven, sa réputation est mise en jeu
La NSA a développé un programme baptisé Skynet, pour identifier les terroristes en se basant sur la localisation et les métadonnées des communications
Intelligence artificielle : Amazon, Microsoft ou Intel seraient en bonne place pour la création potentielle de "Skynet", d'après une étude
Trolldi : Skynet de la saga Terminator débarquerait-il en Chine ? Le pays présente AnBot, un robot connecté au supercalculateur Tianhe-2

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de i5evangelist
Membre éclairé https://www.developpez.com
Le 16/09/2019 à 16:56
Bah en fait, si le robot autonome possède un cœur développé en Java et que le ramasse miettes démarre ...
Ok, je sors
5  0 
Avatar de yoyo3d
Membre éprouvé https://www.developpez.com
Le 17/09/2019 à 13:33
les potentiels "robots tueurs" évoqués par la gugus de chez google ont une autonomie et des capacités limités.
avant d'en arriver à flinguer en masse, il faudrait:
- que le bug original passe inaperçu,
- que les robots arrivent à se coordonner pour générer une attaque surprise et massive,
- qu'ils puissent se ravitailler
....
le potentiel destructeur humain à encore de la marge avant d’être dépassé par skynet
4  1 
Avatar de
https://www.developpez.com
Le 16/09/2019 à 16:32
J'ai une simple question, peut-être bêta, mais comment déclenche-t-on "accidentellement" une guerre ? Une guerre est généralement portée par un contexte géopolitique en tension et un(e) besoin/disposition de ressources inégal(e) entre les partis hostiles.

D'ailleurs, les déclencheurs de guerre ne sont souvent que des actes "mineurs".

J'ai du mal à comprendre le concept de guerre "accidentelle"; Si une guerre arrive, elle n'est pas nécessairement voulue mais elle n'en est pas accidentelle pour autant...
0  0 
Avatar de
https://www.developpez.com
Le 16/09/2019 à 17:01
Citation Envoyé par Jesus63 Voir le message

D'ailleurs, les déclencheurs de guerre ne sont souvent que des actes "mineurs".
Tu as ta réponse ici je pense. Si une guerre est déclenchée suite à un acte mineur (ou pas d'ailleurs) qui se trouve être un accident, alors on peut dire que l'auteur de cet acte mineur a accidentellement déclenché une guerre.
0  0 
Avatar de Jamatronic
Membre éprouvé https://www.developpez.com
Le 16/09/2019 à 18:48
"Nous sommes tellement incompétents que nous ne sommes pas capables de prévoir le comportement de nos machines, en conséquence de quoi vous devez vous attendre à vous faire tuer pour rien."

"Ah mais non ! Dormez braves gens ! Tout va bien ! On va interdire la chose par des lois et vous ne risquerez plus rien."

0  0 
Avatar de Ryu2000
Membre extrêmement actif https://www.developpez.com
Le 17/09/2019 à 10:29
Citation Envoyé par Jesus63 Voir le message
J'ai une simple question, peut-être bêta, mais comment déclenche-t-on "accidentellement" une guerre ? Une guerre est généralement portée par un contexte géopolitique en tension et un(e) besoin/disposition de ressources inégal(e) entre les partis hostiles.
Je crois que le scénario c'est qu'un robot tueur fait une mission quelconque, après il confond des innocents pour des ennemis, il les tue et ça peut démarrer une guerre :
Citation Envoyé par Stan Adkens Voir le message
« Vous pourriez avoir un scénario où des armes autonomes, qui ont été envoyées pour faire un travail, font face à des signaux radar inattendus dans une zone qu'ils cherchent ; il pourrait y avoir des conditions météorologiques qui n'ont pas été prises en compte dans son logiciel ou ils pourraient rencontrent un groupe d'hommes armés qui semblent être des ennemis insurgés alors qu’ils sont en fait à la recherche de nourriture. La machine n'a pas le discernement ou le bon sens que le toucher humain a ».
Sur un plus gros système une IA pourrait détruire un bâtiment, ou un véhicule.

Citation Envoyé par ShigruM Voir le message
Quand a la bombe atomique... laissez moi rire il en faudra bien plus pour tuer tous les humains. L'arme atomique c'est pas efficace, les dégâts ont un faible rayon et la radioactivité tombe trop vite.
Les bombes atomiques actuelles n'ont rien à voir avec Fat Man et Little Boy.
Certains pays possèdent des centaines de têtes nucléaires, donc il y a un pouvoir de destruction.

Citation Envoyé par ShigruM Voir le message
Il reste quoi pour tuer les humains ? le réchauffement climatique ? on a déjà survécut a des période glaciaires et de réchauffement et encore a l'époque on avait pas le chauffage ni la clim. On a assez de plante adapté pour nous nourriture même après les + 5 degré qu'on vas se prendre et la disparitions des abeilles.
Quand il y avait des périodes froides en Europe il y avait des famines :
Liste de famines
1788 - Famines entrainant la révolution française, peut-être lié à El Niño ou à l'éruption de 1783 des Lakagígar en Islande.
Aujourd'hui on peut cultiver en indoor ou importer des produits qui sont à 12 000 km, mais ça n'a pas toujours été le cas.

Si les abeilles disparaissent l'équilibre va être détruit et ça va poser beaucoup de problèmes.
Journée mondiale des abeilles : Leur disparition pourrait causer des millions de morts
Le déclin global des pollinisateurs - essentiellement des abeilles et d'autres insectes - pourrait provoquer jusqu'à 1,4 million de morts supplémentaires par an, soit une augmentation de la mortalité mondiale de près de 3 %, révèle une étude publiée dans The Lancet. Cette accroissement de la mortalité résulterait de la combinaison d'une augmentation des carences en vitamine A et en vitamine B9 (contenues dans nombre de fruits et légumes), vitales pour les femmes enceintes et les enfants, et d'une incidence accrue des maladies non transmissibles comme les maladies cardiaques, les accidents vasculaires cérébraux (AVC) et certains cancers. Tels sont donc les phénomènes que provoqueraient, par le biais de modifications alimentaires (liée à la baisse du nombre de fruits, légumes, noix et graines), un effondrement de la population des pollinisateurs. Les carences en vitamine A et vitamine B9 peuvent atteindre les yeux, ce qui peut entraîner la cécité, et provoquer des malformations du système nerveux.
Bon vu comme ça, ça semble être rien du tout, je pense que les conséquences seraient bien pire.
0  0 
Avatar de Ryu2000
Membre extrêmement actif https://www.developpez.com
Le 18/09/2019 à 8:29
Citation Envoyé par ShigruM Voir le message
Mieux encore j'ai chez moi depuis 5 mois de la spiruline dans un aquarium, une algue d'avenir qui peut nourrir 10 milliards d'humains.

Il y a des sportifs qui prennent de 3 à 5g de protéine par kg de poids de corps par jour.
Genre un gars de 100 kg va prendre 300g de protéine par jour, ça coûterait cher de manger 300g de spiruline par jour.

Bon normalement c'est 1,6g de protéine par kg, donc un gars de 80 kg devrait manger 128g de protéine par jour.
Enfin bref ici c'est compliqué d'utiliser la spiruline comme principale source de protéine.

Citation Envoyé par ShigruM Voir le message
avec en plus des super robots capable de planter des légumes pour faire du biodiesel pour s'alimenter, de fabriquer du nitrate pour des munitions... franchement vivement que ces robots débarque qu'il nous sauves la vie !
On me fait un robot jardinier et qui me protège en plus des pilleurs j’achète directe.
Personnellement je préfère le scénario survivaliste : le système s'effondre, il n'y a plus d'argent, plus de pétrole, plus d’électricité, les gens des villes s’entre-tuent, les gens de la campagne cultivent leur nourriture à la main.
En ville il n'y aura pas assez de place pour cultiver suffisamment de nourriture, même en exploitant le maximum de toits. Il y a des groupes de personnes qui utiliseront la violence pour voler des vivres.

Ton scénario c'est le film wall-e, les humains seront des obèses qui ne lèveront jamais leur gros cul, parce que les robots font tout le travail.
En plus quelqu'un pour hacker ton robot jardinier pour qu'il t'assassine pendant ton sommeil.
1  1 
Avatar de walfrat
Membre émérite https://www.developpez.com
Le 16/09/2021 à 15:29
En soi je trouve l'article assez stupide.

Même si une IA fait une erreur et tue des innocents, ce ne sera pas la première "erreur militaire". Il y a déjà eu des erreurs militaires, et il y en aura d'autres. Le fait que ce soit l'"IA" ou pas, que ce soit une erreur ou pas ne change pas grand chose à la réalité.

Pour ceux qui se rêvent déjà d'essaim de drône tueur en Afrique, je pense que vendre des armes a une partie d'opposition est pas prêt de couter plus cher qu'une armada de drône "intelligence".

Et pour lutter contre la Russie ? Paye ton drône intelligent qui navigue à l'aveugle une fois qu'ils ont déployer un brouilleur d'onde.
0  0 
Avatar de 10_GOTO_10
Membre expérimenté https://www.developpez.com
Le 20/09/2021 à 20:22
Nouvelle du jour, rapport aux robots tueurs :

Iran : un spécialiste du nucléaire assassiné par une mitrailleuse robotisée grâce à l’intelligence artificielle

https://www.sudouest.fr/sciences-et-technologie/iran-un-specialiste-du-nucleaire-assassine-par-une-mitrailleuse-robotisee-grace-a-l-intelligence-artificielle-5991436.php
0  0 
Avatar de Ryu2000
Membre extrêmement actif https://www.developpez.com
Le 21/09/2021 à 8:32
Citation Envoyé par 10_GOTO_10 Voir le message
Nouvelle du jour
Les gens du Mossad savent comment tuer des gens à distance, ça fait un bail qu'ils contrôlent des drones.
Là c'est la continuité. Ils sont fort en attentat ces israéliens.
0  0