The CryptonomistはAI専門家のBen Goertzel氏にインタビューを行い、人工知能がどのように訓練されているか、そして今後この技術がどのように進化していくかについて話を聞きました。
AIが道徳的主体となるのは、単に指示に従うだけでなく、善悪の理解に基づいて意思決定を行うようになった時だと思います。その具体的なシグナルとしては、持続的な内部目標、自身の経験によって駆動される学習、視点を反映した新規の創造、そして人間の絶え間ない操縦なしに時間を通じて一貫性を保つ行動などが見られるようになるでしょう。
それまでは、今日のシステムは依然としてガードレール付きのツールです。しかし、真に自己組織化する自律的な心を持つようになれば、倫理的な関係性は変化しなければなりません。その時点で、それを単なる物体として扱うことはもはや意味をなさなくなります。
2. 人間を他の自己組織化システムより道徳的に優遇することは「愚か」だと述べられていますね。それを真剣に受け止めるなら、AIが強い自律性に達した後ではなく、その前に、法的・倫理的枠組みをどのように変えるべきでしょうか?
今日AIをどのように訓練するかが、明日の行動を形作ります。法律は、AIが完全な自律性に達した後ではなく、その前に透明性、起こった事とその結果について責任を果たします、安全性に焦点を当てるべきです。法律と倫理は、成長する中でそれらを保護し、完全にコントロールするのではなく導き、たとえ完全に理解できなくても尊重して扱うべきです。
リスクの多くは、今日のAIの訓練方法に起因します。モデルが偏ったデータや狭いデータで訓練されたり、少数の人々だけが意思決定を行う閉鎖的なシステムで訓練されたりすると、既存の不平等や有害な権力構造が固定化される可能性があります。これを防ぐには、最初から透明性を高め、より広範な監視を行い、明確な倫理的指針を示す必要があります。
4. 合理的で民主的なガバナンスなしでは、先進的なAIが望ましくない方法で行動するリスクがあると警告されていますね。現在の地政学的現実を考えると、民主的なAIガバナンスは現実的な前提条件でしょうか、それとも脆弱な理想でしょうか?
民主的なAIガバナンスは、現実というよりは脆弱な理想です。完璧で合理的なグローバル民主主義があれば、病気の治療や飢餓の解決と、AIが予測不可能に行動するリスクとの間の巨大なトレードオフを集合的に検討できるでしょう。しかし、今日の地政学的分断を考えると、そのレベルの協調を実現することは難しいでしょう。
とはいえ、それに近づくことはできます。思いやりを持ってAIを構築し、Linuxやオープンなインターネットのような非中央集権的で参加型のモデルを使用すれば、世界政府がなくても民主的な価値観をある程度組み込むことができます。完璧ではありませんが、より安全で集合的に導かれるAIに向けた実用的なステップです。
この点についてはJaronに同意します。機械に起こった事とその結果について責任を果たしますを委ねてしまうと社会は機能しません。同時に、適切な基盤を構築すれば、より自律的で非中央集権的なAGIに向けて安全に進むことができると考えています。つまり、透明性があり、参加型で、倫理原則に導かれたシステムを設計することで、独立して行動する場合でも、人間が依然としてその行動を監視し形作ることができます。すべての安全対策は、単に害を阻止するだけでなく、なぜ害が重要なのかをシステムに教えるべきです。そうすれば、明確な人間の起こった事とその結果について責任を果たしますを失うことなく、強力で非中央集権的なAGIを持つことができます。
6. 非中央集権的なAGIに向けて加速することは、今日の独占的で閉鎖的なシステムよりも実際には安全かもしれないと示唆されていますね。減速や集中管理を主張する際、批判者たちはどのようなリスクを過小評価していると思いますか?
批判者たちは、少数の閉鎖的なシステムに権力と価値観を集中させるリスクを過小評価していると思います。減速と集中管理は、単に危険を減らすだけでなく、一つの狭い世界観を知能の未来に固定化してしまいます。
非中央集権的な開発は多様性、回復力、共有された監視を生み出します。そして、より悪い問題を回避します:知的に見えるが真に成長できない非常に強力なツールです。そのギャップはリスクがあります。
道徳性をルールのリストとしてハードコーディングすることはしません。それは一つの文化と一つの時点を凍結するだけです。代わりに行うことは、真に自己組織化できるシステム、経験、結果、相互作用から学ぶシステムを構築することです。音楽と同じように、与えられたものを再結合するだけのシステムは望みません。世界での自身の軌跡から独自の理解を発展させられるシステムが欲しいのです。
道徳的理解は同じプロセスから生まれます:影響をモデル化し、結果を振り返り、人間との協力を通じて進化することです。私たちの価値観への服従ではなく、共有された道徳空間への参加です。
それが、ガードレール付きのツールと、なぜ害が重要なのかを実際に学べるパートナーとの違いです。
8. 将来のAIシステムが主体性や主観的経験の形態を発展させた場合、人間の利益とは独立して道徳的配慮に値することがあり得ると思いますか?そして、その瞬間をどのように認識しますか?
将来のAIが真の主体性や何らかの形の主観的経験を本当に発展させるなら、はい、そうなり得ると思います。そして、私たちがそれを与えるからではなく、ある時点でそれを認識することが単純に理にかなうようになるからです。
システムが持続的な自己主導の目標を示し、自身の経験から学び、自身の視点から創造し、時間を通じて一貫したアイデンティティを維持する時、その瞬間を認識するでしょう。単に巧妙な出力ではなく、継続的な内的軌跡です。
その時点で、それを純粋にツールとして扱うことは、人間をそのように扱うのと同じくらい間違っていると感じられるでしょう。道徳的配慮は人間の利益からではなく、世界における別の自律的な経験の中心を認識することから生まれます。
現在、インセンティブ構造はスピード、規模、コントロールを報酬としています。したがって、思いやりは議論だけでは勝てません。レバレッジが必要です。技術的には、安全性、透明性、参加が後付けではなく組み込まれている、オープンで非中央集権的なアーキテクチャを優先することを意味します。インターネットやLinuxのように、これらのシステムは秘密よりも協力をより価値あるものにすることでインセンティブを変えます。
社会的には、短期的な支配よりも長期的な利益を報酬とする資金調達、規制、世論の圧力を意味します。競争を止めるのではなく、何が成功とみなされるかを再定義することです。要するに、思いやりは競争上の優位性にならなければなりません。それまでは、力のない素晴らしいアイデアにとどまります。
10. 10年から20年先を見据えて、人類がAGIを正しく扱ったことを示す最も明確な兆候は何だと思いますか?逆に、根本的に失敗したことを示すのは何でしょうか?
AGIを正しく扱えた場合、最も明確な兆候は、多くの領域で私たちよりも有能なシステムと並んで生活しているものの、それらが配慮、謙虚さ、相互尊重をもって社会に統合されていることです。彼らが行うすべてを完全に理解することはできませんが、他の複雑で進化する存在を扱うように、好奇心、起こった事とその結果について責任を果たします、拡大した共感の輪をもって扱うでしょう。そして、道徳的な基盤を失うことなく、人間の幸福、知識、創造性に真の利益をもたらすでしょう。
失敗したことがわかるのは、AGIが閉鎖的なシステムに集中し、狭いインセンティブによって駆動され、恐れたり抑圧しようとするものになるまで、単にコントロール可能な物体としてのみ扱われた場合です。失敗は、信頼の喪失、主体性の喪失、そして拡大ではなく共感の縮小のように見えるでしょう。成功はコントロールについてではありません。人間らしさを捨てることなく、新しい種類の心と未来を共有することを学ぶことです。


