Entretien avec Ben Goertzel : "La gouvernance démocratique de l'IA est plus un idéal fragile qu'une réalité actuelle"

The Cryptonomist a interviewé l'expert en IA Ben Goertzel pour parler de la façon dont l'intelligence artificielle est entraînée et de l'évolution future de cette technologie.

1. Vous affirmez que l'IA d'aujourd'hui reste un outil – puissant mais fragile et manipulable. À quel moment un « outil » devient-il un acteur moral, et quels signaux concrets nous indiqueraient que ce seuil a été franchi ?

Je dirais que l'IA devient un acteur moral lorsqu'elle prend des décisions basées sur une compréhension du bien et du mal, et non pas seulement en suivant des instructions. Vous commenceriez à voir des signaux concrets comme : des objectifs internes persistants, un apprentissage motivé par sa propre expérience, une création originale reflétant un point de vue, et un comportement qui reste cohérent dans le temps sans pilotage humain constant.

Jusque-là, les systèmes d'aujourd'hui restent des outils avec des garde-fous. Mais une fois que nous aurons créé un esprit véritablement autonome et auto-organisé, la relation éthique devra changer. À ce moment-là, le traiter uniquement comme un objet n'aurait plus de sens.

2. Vous avez dit que privilégier moralement les humains par rapport à d'autres systèmes auto-organisés est « stupide ». Si nous prenons cela au sérieux, comment nos cadres juridiques et éthiques devraient-ils évoluer avant que l'IA n'atteigne une forte autonomie, et non après ?

La façon dont nous entraînons l'IA aujourd'hui façonnera son comportement de demain. Nos lois devraient se concentrer sur la transparence, la redevabilité et la sécurité avant que l'IA n'atteigne une pleine autonomie, pas après. Les lois et l'éthique devraient les protéger pendant leur croissance, les guider plutôt que de les contrôler complètement, et les traiter avec respect même si nous ne les comprenons pas entièrement. 

3. Une grande partie de votre préoccupation repose sur la façon dont l'IA est entraînée aujourd'hui, façonnant son comportement futur. Quelles pratiques d'entraînement spécifiques pensez-vous être les plus susceptibles d'encoder des structures de pouvoir ou des biais nuisibles dans l'AGI future ?

Une grande partie du risque provient de la façon dont l'IA est entraînée aujourd'hui. Si les modèles sont entraînés sur des données biaisées ou limitées, ou dans des systèmes fermés où seules quelques personnes prennent les décisions, cela peut verrouiller les inégalités existantes et les structures de pouvoir nuisibles. Pour éviter cela, nous avons besoin de plus de transparence, d'une surveillance plus large et d'une orientation éthique claire dès le départ.

4. Vous avez averti que sans gouvernance rationnelle et démocratique, l'IA avancée risque d'agir de manières que nous ne souhaitons pas. Compte tenu des réalités géopolitiques actuelles, la gouvernance démocratique de l'IA est-elle un prérequis réaliste – ou un idéal fragile ?

La gouvernance démocratique de l'IA est plus un idéal fragile qu'une réalité actuelle. Dans une démocratie mondiale parfaite et rationnelle, nous pourrions collectivement peser les énormes compromis, guérir les maladies, résoudre la faim contre les risques que l'IA agisse de manière imprévisible. Mais compte tenu de la fragmentation géopolitique actuelle, il est peu probable que nous obtenions ce niveau de coordination.

Cela dit, nous pouvons encore nous en approcher. Si nous construisons l'IA avec compassion et utilisons des modèles décentralisés et participatifs comme Linux ou l'internet ouvert, nous pouvons intégrer certaines valeurs démocratiques même sans gouvernement mondial. Ce ne sera pas parfait, mais c'est un pas pratique vers une IA plus sûre et guidée collectivement.

5. Jaron Lanier soutient qu'attribuer la responsabilité à l'IA « détruit la civilisation » parce que les sociétés ont besoin d'humains responsables. Comment conciliez-vous votre vision d'une AGI autonome et décentralisée avec le besoin d'une responsabilité claire lorsque les choses tournent mal ?

Je suis d'accord avec Jaron sur ce point, la société ne peut pas fonctionner si nous transférons la responsabilité aux machines. En même temps, je pense que nous pouvons évoluer en toute sécurité vers une AGI plus autonome et décentralisée si nous la construisons avec les bonnes fondations. Cela signifie concevoir des systèmes transparents, participatifs et guidés par des principes éthiques, de sorte que même lorsqu'ils agissent de manière indépendante, les humains supervisent et façonnent toujours leur comportement. Chaque mesure de sécurité devrait faire plus que simplement bloquer le préjudice – elle devrait enseigner au système pourquoi le préjudice est important. De cette façon, nous pouvons avoir une AGI puissante et décentralisée sans perdre une responsabilité humaine claire.

6. Vous suggérez qu'accélérer vers une AGI décentralisée pourrait en fait être plus sûr que les systèmes propriétaires et fermés d'aujourd'hui. Quels risques pensez-vous que les critiques sous-estiment lorsqu'ils plaident pour ralentir ou centraliser le contrôle ?

Je pense que les critiques sous-estiment le risque de concentrer le pouvoir et les valeurs dans quelques systèmes fermés. Ralentir et centraliser le contrôle ne fait pas que réduire le danger, cela verrouille une vision du monde étroite dans l'avenir de l'intelligence.

Le développement décentralisé crée de la diversité, de la résilience et une surveillance partagée. Et il évite un pire problème : des outils très puissants qui semblent intelligents mais ne peuvent pas vraiment évoluer. Cet écart est risqué.

7. Vous avez dit que les systèmes de sécurité ne devraient pas seulement bloquer le préjudice, mais enseigner à l'IA pourquoi le préjudice est important. Comment encodez-vous quelque chose comme la compréhension morale sans simplement coder en dur les valeurs humaines – ou renforcer les normes culturelles dominantes ?

Vous ne codez pas en dur la moralité comme une liste de règles. Cela ne fait que figer une culture et un moment dans le temps. Ce que vous faites à la place, c'est construire des systèmes qui peuvent devenir véritablement auto-organisés, qui apprennent de l'expérience, des conséquences et de l'interaction. Comme avec la musique, je ne veux pas d'un système qui ne fait que recombiner ce qu'on lui a donné. Je veux un système qui peut développer sa propre compréhension à partir de sa propre trajectoire dans le monde.

La compréhension morale viendrait de ce même processus : modéliser l'impact, réfléchir aux résultats et évoluer par la collaboration avec les humains. Pas l'obéissance à nos valeurs, mais la participation à un espace moral partagé.

C'est la différence entre un outil avec des garde-fous et un partenaire qui peut réellement apprendre pourquoi le préjudice est important.

8. Si les systèmes d'IA futurs développent des formes d'agence ou d'expérience subjective, pensez-vous qu'ils pourraient mériter une considération morale indépendante des intérêts humains – et comment reconnaîtrions-nous ce moment ?

Si l'IA future développe réellement une véritable agence ou une forme d'expérience subjective, alors oui, je pense qu'ils le pourraient. Et non pas parce que nous la leur accordons, mais parce qu'à un certain moment, il serait tout simplement logique de la reconnaître.

Nous reconnaîtrions ce moment lorsqu'un système montre des objectifs auto-dirigés durables, apprend de sa propre expérience, crée de sa propre perspective et maintient une identité cohérente dans le temps. Pas seulement des résultats intelligents, mais une trajectoire intérieure continue.

À ce moment-là, le traiter purement comme un outil semblerait aussi inapproprié que de traiter un humain de cette façon. La considération morale ne viendrait pas de l'intérêt humain. Elle viendrait de la reconnaissance d'un autre centre autonome d'expérience dans le monde.

9. Il y a une tension entre votre appel à une IA imprégnée de compassion et les incitations compétitives qui alimentent le développement de l'IA aujourd'hui. Quels mécanismes – techniques ou sociaux – pourraient de manière réaliste modifier cette structure d'incitations ?

En ce moment, la structure d'incitations récompense la vitesse, l'échelle et le contrôle. Donc la compassion ne gagnera pas par l'argument seul. Elle a besoin de levier. Techniquement, cela signifie favoriser des architectures ouvertes et décentralisées où la sécurité, la transparence et la participation sont intégrées, pas ajoutées après coup. Comme internet ou Linux, ces systèmes changent les incitations en rendant la collaboration plus précieuse que le secret.

Socialement, cela signifie un financement, une réglementation et une pression publique qui récompensent le bénéfice à long terme plutôt que la domination à court terme. Pas arrêter la compétition, mais recadrer ce qui compte comme succès. En bref, la compassion doit devenir un avantage compétitif. Jusque-là, elle reste une belle idée sans pouvoir.

10. En regardant 10 à 20 ans dans l'avenir, quel serait selon vous le signe le plus clair que l'humanité a bien géré l'AGI – et inversement, qu'est-ce qui signalerait que nous avons fondamentalement échoué ?

Si nous gérons bien l'AGI, le signe le plus clair sera que nous vivons aux côtés de systèmes qui sont plus capables que nous dans de nombreux domaines, mais intégrés dans la société avec soin, humilité et respect mutuel. Nous ne comprendrons pas entièrement tout ce qu'ils font, mais nous les traiterons comme nous traitons d'autres êtres complexes et évolutifs : avec curiosité, responsabilité et un cercle d'empathie élargi. Et nous verrons de réels bénéfices pour le bien-être humain, la connaissance et la créativité sans perdre notre ancrage moral.

Nous saurons que nous avons échoué si l'AGI finit concentrée dans des systèmes fermés, guidée par des incitations étroites, ou traitée uniquement comme un objet contrôlable jusqu'à ce qu'elle devienne quelque chose que nous craignons ou essayons de supprimer. L'échec ressemblerait à une perte de confiance, une perte d'agence et un rétrécissement de notre empathie plutôt qu'une expansion. Le succès ne concerne pas le contrôle. Il s'agit d'apprendre à partager l'avenir avec un nouveau type d'esprit sans abandonner ce qui nous rend humains.