references.md

Références

Liste de lecture

• Fairness :

  • Machine Learning in the wild : en particulier sur le sujet fairness

  • Building Fair and Transparent Machine Learning via Operationalized Risk Management de Quantum Black : approche analyse de risque très détaillée, à suivre courant 2020 si publication de leur plateforme de risques

  • Biased Algorithms are Easier to Fix than Biased People

  • Word Embedding and gender bias:

    • Word embeddings quantify 100 years of gender and ethnic stereotypes
    • Christine Basta, Marta R. Costa-juss`a, Noe Casas. Evaluating the Underlying Gender Bias in Contextualized Word Embeddings, 2018
    • Invisible Women: Exposing Data Bias in a World Designed for Men, Caroline Criado Perez

• AI safety:

  • A Roadmap for Robust End-to-End Alignment, Lê Nguyên Hoang, EPFL : "AI alignment problem. This is the problem of aligning an AI’s objective function with human preferences."

  • Concrete problems in AI safety. Abstract: "[...] the problem of accidents in machine learning systems, defined as unintended and harmful behavior that may emerge from poor design of real-world AI systems. We present a list of five practical research problems related to accident risk, categorized according to whether the problem originates from having the wrong objective function ("avoiding side effects" and "avoiding reward hacking"), an objective function that is too expensive to evaluate frequently ("scalable supervision"), or undesirable behavior during the learning process ("safe exploration" and "distributional shift"). [...]"

• Trust in AI systems, explicabilité et interprétabilité:

  • La confiance des utilisateurs dans les systèmes impliquant de l’Intelligence Artificielle, blog Octo Technologies, octobre 2019

  • Interpretable Machine Learning, A Guide for Making Black Box Models Explainable, Christoph Molnar

• Protection of data confidentiality:

  • The secret-sharer: evaluating and testing unintended memorization in neural networks, A. Colyer, 2019

  • Membership Inference Attacks against Machine Learning Models, R. Shokri, M. Stronati, C. Song, V. Shmatikov, 2017 and further analysis Demystifying the membership inference attack, Disaitek, 2019. A tool called ML Privacy Meter to quantify the privacy risks of machine learning models with respect to inference attacks is also available

  • Outils pour la differential privacy : Google differential privacy library and its Python wrapper PyDP by OpenMined

  • La distillation d'un modèle, en plus de la compression qu'elle apporte, peut être utilisée comme une mesure de protection du modèle et des données d'entraînement utilisées, voir par exemple Knowledge Distillation : Simplified, Towards Data Science, 2019, et Distilling the Knowledge in a Neural Network, G. Hinton, O. Vinyals, J. Dean, 2015

• "Performance is not outcome":

  • Google’s medical AI was super accurate in a lab. Real life was a different story, MIT Technology Review

Travaux dans ce domaine

L'Institute for Ethical AI & Machine Learning maintient un panorama très complet des inititives réglementaires, rapports, guidelines, frameworks divers et variés en lien avec la pratique et l'usage de l'IA et la data science : voir leur repository Awesome AI Guidelines sur Github.

Guidelines, liste de principes ou de thèmes-clés

• Méta-étude 'The global landscape of AI ethics guidelines'

• EU Draft Ethics guidelines for trustworthy AI and pilot assessment survey

  7 Key requirements:

  • Human agency and oversight
  • Technical robustness and safety
  • Privacy and data governance
  • Transparency
  • Diversity, non-discrimination and fairness
  • Societal and environmental well-being
  • Accountability

• OECD AI Principles focused on 'Responsible stewardship of trustworthy AI'

  The Recommendation identifies five complementary values-based principles for the responsible stewardship of trustworthy AI:

  • AI should benefit people and the planet by driving inclusive growth, sustainable development and well-being.
  • AI systems should be designed in a way that respects the rule of law, human rights, democratic values and diversity, and they should include appropriate safeguards – for example, enabling human intervention where necessary – to ensure a fair and just society.
  • There should be transparency and responsible disclosure around AI systems to ensure that people understand AI-based outcomes and can challenge them.
  • AI systems must function in a robust, secure and safe way throughout their life cycles and potential risks should be continually assessed and managed.
  • Organisations and individuals developing, deploying or operating AI systems should be held accountable for their proper functioning in line with the above principles.

• The Institute for Ethical AI & Machine Learning: Awesome AI guidelines and The Responsible ML Principles:

  The Responsible Machine Learning Principles:

  1. Human augmentation: I commit to assess the impact of incorrect predictions and, when reasonable, design systems with human-in-the-loop review processes
  2. Bias evaluation: I commit to continuously develop processes that allow me to understand, document and monitor bias in development and production.
  3. Explainability by justification: I commit to develop tools and processes to continuously improve transparency and explainability of machine learning systems where reasonable.
  4. Reproducible operations: I commit to develop the infrastructure required to enable for a reasonable level of reproducibility across the operations of ML systems.
  5. Displacement strategy: I commit to identify and document relevant information so that business change processes can be developed to mitigate the impact towards workers being automated.
  6. Practical accuracy: I commit to develop processes to ensure my accuracy and cost metric functions are aligned to the domain-specific applications.
  7. Trust by privacy: I commit to build and communicate processes that protect and handle data with stakeholders that may interact with the system directly and/or indirectly.
  8. Data risk awareness: I commit to develop and improve reasonable processes and infrastructure to ensure data and model security are being taken into consideration during the development of machine learning systems.

• PWC IA responsable:

  6 thèmes :

  • Renforcer la sécurité de l'IA avec validation, surveillance et vérification
  • Créer des modèles d'IA transparents, extensibles et prouvables
  • Créer des systèmes éthiques, compréhensibles, légaux
  • Améliorer la gouvernance avec des modèles d'exploitation et des processus de l'IA
  • Tester le biais dans les données, les modèles et l'utilisation d'algorithmes par l'homme

• Google recommended practices for AI: Fairness, Interpretability, Privacy, Security

Déclarations, chartes, serments

• Déclaration de Montréal pour l'IA responsable
• Serment Holberton-Turing
• Serment d'Hippocrate pour data scientist
• Future of Life's AI principles
• Charte internationale pour une IA inclusive

Autres

• Livre blanc Data Responsable
• Responsible AI Licenses
• FAT ML : semble inactif depuis fin 2018
• AI for social good workshops and research papers
• Building Fair and Transparent Machine Learning via Operationalized Risk Management: Towards an Open-Access Standard Protocol
• Algorithmes publics :
  • Guide des algorithmes publics à l'usage des administrations, Etalab
  • Rapport Éthique et responsabilité des algorithmes publics, Etalab / ENA, Janvier 2020
• ISO est en train de définir des normes dans le secteur de l'Intelligence Artificielle. Ces travaux devront être suivis.

En cours d'étude

Extrait du rapport Ethics and Algorithms toolkit - Mesures à évaluer

Ethics and Algorithms toolkit est une boite à outils développée par la municipalité de San Francisco et différents organismes publics et privés. Cette boite à outils est en deux partie :

• Une partie d'évaluation des risques ;
• Une liste de mesures pour atténuer les risques en fonction des réponses données lors de la première partie.

Si cette liste de mesures est surtout réalisée dans le cadre de projets "publics" de mise en place d'algorithmes, certaines mesures peuvent être retenues dans un contexte plus général, par exemple :

• Un Comité de Révision Institutionnelle a été mis en place, en charge :

  • d'examiner et approuver les projets de recherches;
  • valider la mise en oeuvre d'un algorithmes.

• Lorsque le projet a un impact social et public, un conseil consultatif est mis en place, comprenant les parties prenantes du projet ainsi que des représentants du grand public.

• Lorsque le projet a un impact social et public, un dialogue est entretenu avec le grand public à travers différents canaux :

  • Organisation d'enquête auprès du public ;
  • Mise en place d'un plan de communication et de l'envoi de mémo / newsletters auprès du public ;
  • Organisation de meeting / conférence pour présenter les données et usages utilisés ;
  • Ouverture des données utilisées en ligne ;
  • Ouverture d'un repo Github.

• Lorsqu'un projet est controversé avant même son démarrage, un moratoire doit être mis en place afin d'indentifier de nouvelles sources de données.

• Des outils de tests automatiques des algorithmes (exemple : matrice de confusion) doivent être mis en place pour évaluer la performance d'un algorithme tout au long de son existance.

• Un mécanisme d'arbitrage humain doit être mis en place s'il permet d'améliorer la performance d'un algorithme.

• Le transfert du suivi de la performance d'un algorithme à un organisme tier permet de retirer un degré de subjectivité.

• Lorsqu'il y a absence de certaines données, ou qu'un échantillon de données est trop petit, des mécanismes de poids sont mis en place pour avoir une meilleure représentation de la population bénéficiaire de l'algorithme.

• Des professionnels de la Data Science et du monde académique peuvent être engagés pour auditer un algorithme.

• Les différentes parties prenantes d'un projet d'algorithme sont capables d'expliquer chaque risque identifié lié au projet de cet algorithme.

Extrait du AI Now Report 2019 - Mesures à évaluer

Le AI Now Report 2019 est rapport réalisé par le AI Now Institut, centre de recherche interdisciplinaires en charge d'évaluer les impacts sociaux de l'Intelligence Artificielle. Les recommandations présentées sont plutôt d'ordre gouvernementales et en lien avec la réglementation. Certaines idées méritent cependant d'être discutées.

• Les politiques de diversité mises en place au sein de l'organisation prennent en compte les spécificités de l'Intelligence Artificielle et les risques sur les algorithmes mis en place.

• Les impacts environnementaux des projets de mise en place d'algorithme à grande échelle doivent être publiés auprès du grand public.

• Les collaborateurs, avec ou sans l'aide de leur syndicat, doivent pouvoir contester l'utilisation d'un algorithme intrusif.

• Les collaborateurs partie prenantes de la mise en place d'un algorithme doivent être au courant de la finalité de cette algorithme et décider de contester sa mise en place.

• Le climat, la santé et les déplacements géographiques doivent être pris en compte dans l'évaluation d'un algorithme.

• Les chercheurs en algorithmie doivent être responsables des risques et menaces de leurs algorithmes et doivent mieux documenter les origines de leurs modèles et données utilisées.

Notes et observations

• Beaucoup de travaux s'intéressent à l'éthique par les usages et par la non-reproduction de discrimination
• Il y a cependant très peu de choses sur comment un modèle est élaboré (voir le papier de Quantum Black)
• Le plus complet est peut-être le questionnaire d'évaluation de l'UE, mais il est loin d'être actionnable, opérationnel (63 questions dont de nombreuses sont des questions très ouvertes), et son processus d'élaboration et d'évolution est relativement fermé
• Des référentiels de la sécurité des systèmes d'information, bien plus généraux, pourraient être utilisés comme références pour éviter d'être redondant sur certains points. Par exemple le guide de la sécurité des données personnelles de la CNIL.