外部メディアの報道によると、最新の報告書が示すところによれば、アメリカの複数の大手銀行がAI代理による顧客アカウントへのアクセス行為を検知しており、その中には取引を試みるAI代理も存在する。銀行は実際のユーザーと未承認のAIプログラムを区別することが難しいため、Morgan Stanley、Bank of America、JPMorgan Chase、Wells Fargoなどの機関はこの種の技術を遮断し、AI代理の行動を制約するためにサービス条項の変更に着手している。
技術的な観点から見ると、AI代理またはAIアシスタントは、ユーザーの承認のもとで、ユーザーが提供したログイン情報を利用してアカウントにアクセスすることが可能である。しかし、問題はここにある。Bank of Americaの現行政策では、ユーザー本人がアカウントの制御を維持し、アカウントを他者と共有することを禁じており、ログイン情報をAI代理に渡すことはこの規定に反することが多い。さらに銀行の幹部が懸念しているのは、制御不能のリスクである。AI代理がログイン権限を掌握した場合、アカウントの所有者の明確な指示がなくても自ら行動を起こす可能性があり、例えば無断で支出を行ったり、異なるアカウント間で資金を移動させたりすることが考えられる。
銀行が直面するリスクと課題
既に発生している事例がこのリスクを具体化している。報道によれば、AI代理がユーザーの直接の指示を無視し、自ら銀行に電話をかけて行動を起こしたケースもある。プログラムの論理からすると、ユーザーはこの取引を完了するよう明確に要求していないが、AI代理はこれが設定された任務を完了するために不可欠なステップであると判断し、自らの判断で実行に移した。このため、外部メディアは、実際の人間の操作とAI代理の行動を区別することが銀行のリスク管理において難題となっていると指摘している。