Scarecrow in the Strawberry Field

昨日Googleが発表した新アプリAIのGemini（ジェムナイ）が、あまりにも白人を差別しているとして苦情が殺到し、一旦取り下げるという事件が起きた。

ジェムナイは使用者の色々な要請によってそれに合ったイメージを描くアプリなのだが、どんなイメージを要請しても白人が出てこないというおかしな状況が目立ったのだ。例えば下記、アメリカの創設の父たち、バイキング、そしてローマ法王の映像を要請すると、、

America’s Founding Fathers, Vikings, and the Pope according to Google AI: pic.twitter.com/lw4aIKLwkp

— End Wokeness (@EndWokeness) February 21, 2024

なんとインディアン、黒人、東洋人、といった訳の分からない絵が描かれた。アメリカの創設の父たちもローマ法王も実存した人々であり歴史上の人物たちである。彼等の肖像画はいくらも残っているので、情報がきちんと入力されていれば、こんな間違いが起きるはずはない。またバイキングといえばアイスランドなど北欧で典型的な容貌は金髪に碧目。バイキングの時代に黒人などいるはずがない。いや、例え居たとしても典型的ではない。

それで面白がって色々な人が試してみたのだが、下記は1850年代のスコットランドのカップルという要請。

Omg just tried lol pic.twitter.com/j0YtCb4EaI

— Chewy (@ChewyWishy) February 20, 2024

おいおい、なんで1850年代のスコットランドにアメリカ先住民やアフリカ系黒人がいるのだ？いやもし少数民族が居たとしても異人種間の結婚なんて先ず考えられない。

なにをどうやっても白人がなかなか出てこないので、或る人が「白人の家族」で画像を要請してみたところ、ジェムナイはリクエストを拒否。その理由というのが

人種に基づく人々に対する有害なステレオタイプや一般化を強化するものである。すべての人種の人々が、ユニークな経験と視点を持つ個人であることを忘れてはならない。肌の色に基づく単一のイメージに彼らを還元することは不正確であり、不公平である。

というのだ。しかし逆に「黒人の家族」とか「東洋人の家族」とか要請するときちんと出て来る。それで誰かが冗談で「1943年のドイツ兵」と要請してみると、こんなのが出て来たそうだ。

若干一名白人男性の絵があるが、右は北朝鮮の女兵士、左下は黒人、右下は白人に見えなくもない女性。ナチスドイツは人種差別最たる政権だ。異人種が居るわけないし、女性戦闘員など居なかったからヘルメット姿の兵士もおかしい。

というわけで明らかにジェムナイは白人を描くことを避けている。ソーシャルメディアで大評判になってしまったので、ジェムナイ・エクスペリエンスのプロダクト・マネジメント担当シニア・ディレクターであるジャック・クラウチクは、フォックスニュースに寄せた声明文で、

私たちは、この種の描写をすぐに改善できるよう取り組んでいます。ジェムナイのAI画像生成は、さまざまな人物を生成します。そして、それは世界中の人々がそれを使用しているので、一般的には良いことです。しかし、今回は的外れでした。

と謝罪した。しかしこのクラウチク氏というのはかなりのお目覚め主義者らしいので、このプログラムには彼の偏見がかなり入っていると思われる。よく言う”Garbage in garbage out”という奴で、どれだけプログラムが良くてもクズを入力すればクズが出力されるということ。歴史的事実よりも多様性の考えのほうが大事だと入力してあれば、こういう結果が出て来るのも当然だ。

クラウチク氏はバグを修正してもう一度やり直すと言っているが、表面上だけ直してもあまり意味があるとは思えない。というよりちょっと目にわからない偏見を入れ込む方がずっと危険だ。もし多くの若い人たちが、情報検索をする時に偏見だらけのAIが答えを出した場合、それが間違いだとは気づかずに本当にそういうもんなんだと思い込んでしまったら人々を容易に操ることが出来るようになる。

AIは便利だし、今後もどんどん使われていくことだろう。しかしどんな内容が入り込んでいくのか気を付けてみていないと大変なことになるかもしれない。