では、アルゴリズム監査にはどのような規律が求められるだろうか。まず、包括的な観点を取り入れなければならない。コンピュータサイエンスと機械学習手法が必要にはなるが、それだけでは規律の基盤として十分とは言えないだろう。戦略的思考、状況に応じた専門的判断、コミュニケーション、そして科学的手法も必要である。

 つまり、アルゴリズム監査は、学際的なものでなければ奏功しないということだ。心理学、行動経済学、人間中心設計、倫理学などの分野における社会科学的な方法論や概念と、職業的懐疑心とを組み合わせなければならない。

 社会科学者は、「このデータ内のパターンに最適なモデリングを施して使用するには、どうすればよいのか」と尋ねるだけではなく、「このデータサンプルは、根底にある現実を的確に反映しているか」と、さらに問う必要がある。また倫理学者は、「この分布は今日の現実を反映しているが、これを使用することに問題はないのだろうか」といった、より突っ込んだ問いかけをしなければならない。

 たとえば、ある組織において成功している上級職の従業員の分布が男性に偏っていた場合、単純にこの母集団のデータを用いて採用アルゴリズムをトレーニングすれば、問題を改善するどころか、より悪化させる可能性さえある。

 この他にも問うべきことがある。そのアルゴリズムは、エンドユーザに対して透明性を十分に確保できているのか。社会的に許容される形で使われようとしているのか。望ましくない心理的影響を及ぼす可能性はないか。人が生来持っている弱みにつけ込むおそれはないか。アルゴリズムが人を騙す目的で使われようとしていないか。その設計にバイアスや不備が内在していることを示す、エビデンスはないか。特定の推奨に至った根拠や、その推奨の信頼度を適切に伝えているか。

 アルゴリズムの監査がどんなに慎重に行われたとしても、社会(選ばれた代表者や規制当局を通じて)にしか答えられないような難しい問題は残るだろう。

 例として、独立系の報道機関プロパブリカによる調査を見てみよう。同社は、犯罪容疑者が裁判開始前に保釈されるべきかどうかを決定するためのアルゴリズムについて調べた。ジャーナリストらの発見によれば、再犯を犯さなかった黒人は、再犯を犯さなかった白人よりも、保釈前に再犯リスクを中~高程度と予測される割合が高かったという。

 直観的には、人種によって偽陽性率(再犯リスクが高いと予測された人が、再犯を犯さなかった割合)が異なるということは、アルゴリズムに人種的バイアスがあることを示す、疑いようのない事例と考えられる。しかし実際のところ、このアルゴリズムは、もう1つの重要な「公平性」の概念ならば満たしているということが判明した。すなわち、再犯リスクが高いと予測された人が、「実際に再犯を犯した」割合は、人種に関わらずほぼ予測通りだったのである。

 その後の学術研究で、これら両方の公平性の基準を同時に満たすことは、基本的に不可能であることが立証された。このエピソードが示すように、ジャーナリストや活動家は、このようなトレードオフについて調査・検証し、学者、市民、政策立案者に知らせるという重要な役割を果たせる。

 しかし、アルゴリズム監査は、彼らのそうした(なくてはならない)活動とは区別されるべきである。

 監査人の任務はむしろ、社会と行政機関で審議され確立された慣習にAIシステムが従っているかどうかを、定期的に確認するというものでなければならない。したがって、最終的にアルゴリズム監査は、(データサイエンスを修めた)知的専門職の領域とすべきなのだ。ここで求められるのは、適切な資格認定、実務基準、懲戒手続き、学界との連携、継続的教育、さらには倫理・規則・プロ意識に関するトレーニングなどである。

 経済的に独立した団体を設立して、アルゴリズムの設計、報告、実施の基準を審議し、発行してもよいだろう。こうした科学的根拠と倫理的見識に基づくアルゴリズム監査への取り組みは、AIのガバナンス、監査、リスク管理、コントロールを行うための信頼できるシステムを構築するという、大局的課題における重要な要素である。

 AIが、研究対象から実社会での意思決定を行う存在へと移行するにつれて、単なるコンピュータサイエンスの課題ではなく、ビジネスと社会の課題となる。数十年前に企業に導入されたガバナンスと監査のシステムは、ビジネスが社会の価値観を広く反映するよう万全を期すうえで有効に機能した。この成功を、AIにおいても再現するよう試みてはどうだろうか。


HBR.ORG原文:Why We Need to Audit Algorithms, November 28, 2018

■こちらの記事もおすすめします
アナリティクスによる人事管理は、どこまで許されるか
映画・歴史・哲学オタクの逆襲:データ時代こそ、リベラルアーツが必要である

 

ジェームズ・グーシャ(James Guszcza)
デロイト・コンサルティングLLPの米国チーフ・データサイエンティスト。

イヤード・ラワン(Iyad Rahwan)
マサチューセッツ工科大学メディアラボのメディアアーツ・アンド・サイエンス准教授。

ウィル・バイブル(Will Bible)
デロイト・アンド・トウシュLLPのパートナー。チーフ・デジタルオフィサーを務める。

マニュエル・セブリアン(Manuel Cebrian)
マサチューセッツ工科大学メディアラボのリサーチサイエンティスト・マネジャー。

ビック・カティヤール(Vic Katyal)
デロイト・アンド・トウシュLLPのプリンシパル。データリスクおよびアナリティクス部門のグローバルリーダーを務める。