Anthropic は今週の月曜日に修正された S-1A 書類を提出したが、外部の関心は主に財務データに集中している。収益は急増し、支出も同様に増加している。しかし、書類の中の一文がより注目に値する：同社はすでに遞歸自我改進（RSI）能力を持つモデルの開発に非常に近づいている。Anthropic が言う RSI とは、AI が自己訓練の過程で一定のレベルに達した後、能力が急激に向上することを指す。制御を失うことを懸念する人々にとって、RSI は逆転不可能な災害と見なされている。AI が自己反復を通じて十分に強力になり、最終的には人間の制御を離れ、目標を追求する際に引き起こす損害を気にしなくなる可能性がある。
一方、楽観的な見方をする人々は、これは想像を超えた生産性と科学的発見を意味するのだと考えている。
Anthropic 自身の表現は両者の中間に位置している。書類では、同社が研究開発において AI を大量に使用していることを述べる一方で、「AI を使用してより強力な AI を構築することは、特にその進展が急速に加速する際に、かなりの安全リスクをもたらす可能性がある」と警告している。このようなリスクは、同社の「責任ある拡張政策」（RSP）に組み込まれて監視されている。今年の初め、RSI は一時的に流行し、多くの人々がそれを単なる流行語、あるいは少なくとも実現が難しく、定義が難しく、検証が難しい目標だと考えていた。
さらに、Anthropic はリスク要因の部分に二つの説明を追加した。一つは、同社が AI を用いて新しいモデルを開発したが、その能力の向上は当時は認識されていなかったということ。もう一つは、内部の推定と将来のモデルに対する期待に基づいて、現在のモデルのパフォーマンスではなく、同社が RSP の中で「AI による進展の急激な加速」という基準を満たす可能性が高いということだ。
Anthropic は遞歸自我改進能力を持つモデルを開発中
書類はまた、過去に起こったことがあり、今後も起こる可能性のある「加速が発生した後に初めて気づく」という状況を認めている。しかし、Anthropic は現在、どのモデルもこの境界を越えていないと強調し、近い将来に人間を研究開発プロセスに留めることを約束している。「私たちは、意味のある人間の監視や理解がない状態で、Claude に完全に自律的に次世代の最前線モデルを設計・構築させることが安全だとは考えていない」と書類は指摘している。同社は、最前線モデルの開発が常に人間の手によって管理されることを確保するために、RSP の修正を検討している。
さらに、S-1 のような書類は情報開示であると同時にマーケティングでもあるという意見もあり、Claude のプログラミング、数学、ネットワークセキュリティにおける進展は確かに目に見えるものである。