PonanzaやAlphaGoは将棋や囲碁の世界最強の棋士に勝ちました。機械翻訳は何十もの言語を（細かいニュアンスは無理だとしても）翻訳して見せます。これらは人間には不可能です。「AIは人間を超えた」「もはや人間は必要ない」と思う人が出てくるのも当然です。

が、しかしビッグテックの工学者達でさえいまだにAIが黒人にゴリラとラベル付けしてしまうのではないかという懸念を消すことができません。

GoogleのAIが黒人を「ゴリラ」と分類した事件から8年が経過してもGoogle・Apple・Amazon・MicrosoftのAIはゴリラのラベル付けを避けている - GIGAZINE

つまり、AIは囲碁や将棋の世界最強の棋士には勝つことはできるが、「黒人とゴリラの区別」という幼稚園児でもできることができない。
幼稚園児は世界最強の棋士に勝つことはおろか将棋や囲碁のルールを覚えるのすら大変でしょうが、「黒人とゴリラの区別」というフィールドならAIに圧勝できます。なにせAIと違い数億枚の写真を「学習」させずともわずか数枚の写真を見せるだけで十分だからです。
ついでに言うとAIは放っておくとすぐナチスを礼賛し始めます。

幼稚園児も『意志の勝利』を見せられたら「ハイル・ヒトラー！！！」と言い始めるかもしれませんが、大人……でもネオナチはたくさんいますが、少なくとも「良識のある」大人ならナチスを礼賛したりしないでしょう。しかしAIは人間が手綱を握っておかない限りすぐナチスを礼賛し始めます。

なんでこんなことになってしまうんでしょう。以前プログラミングが難しいと思われてる理由を書いたことがありますが、端的にまとめると「コンピュータ」というのは人間と「思考」原理がまったく異なる、というかそもそも思考していないからです。

私はプログラミングを独学しましたが、ある調査によると独学でプログラミングを身に付けることができたのは一割未満。それを理由に「プログラミングスクールに行け」と言ってるページもたくさんありますが、GoogleもBingもまっさきに「やめとけ」とサジェストして来ます。

単にプログラミングに興味があるというだけなら9割近くの人が「YES」と答えてるそうなので、そうした人も含めるとプログラミング、そして「コンピュータ」は多くの人に「難しそう」と思われてるのでしょう。でもそもそも「コンピュータ」って？
現在「コンピュータ」と呼ばれてるものは基本的にチューリングマシンですが、「コンピュータ」は「Compute（計算）する人/物」という意味なので、チューリングマシンでないアナログコンピュータも存在しますし、以前取り上げた『続く道 花の跡』にも描かれていたように（機械の）チューリングマシンが生まれる前は「計算手」（人）が「コンピュータ」と呼ばれてました。

現在の情報工学者は（数値）計算しかできない「コンピュータ」にどうやったら画像や文章を処理させられるかを考えていて、例えば下記の記事のように文章を単語に分解して番号付けしベクトルの形で表すなどでそれをやっています。人間の脳も「計算」によって世界を認識してるのではないかという話もあります。
Twitter固有の要素を考慮したスパムフィルターの実装 - Qiita

映画『イミテーション・ゲーム』の主人公チューリング（そう、「チューリングマシン」のチューリング）は「機械は思考することができるか？」という問いに「"機械"や"思考"なんて言葉は曖昧過ぎる。人間をimitation game（モノマネゲーム）できてるなら思考してるってことでいいだろ」と有名なチューリング・テストを考え出しました。

最近話題のChatGPTは人間が書いたかのような自然な文を生成でき、私自身以前書いた記事でChatGPTのスクリーンショットを貼りつけました。

これを機械が書いたなんて信じられません。人間でも普通はロックやルソーの思想を解説したりできません。完全にチューリング・テストに合格、いえ、それ以上です。AIはもはや人間を超えた！！！
……と言いたいところですが、質問文が少しでもテンプレートから外れると途端に訳のわからないことを言い出します。

from https://twitter.com/hajimehoshi/status/1670665664842076162

普通の人はUUIDv4なんて知らない（私も詳細は知りません）のでその意味では人間を超えてるかもしれませんが、UUIDを知ってる人にこんな質問したら「UUIDの生成は（コンピュータを使えば）できるけど……え？ 今日の運勢？ 何言ってるの？？？」と当惑の目で見られるでしょう。
Hajime Hoshi氏はGoogle Bardにもこんな質問をしています。

私訳（一部省略）：

人間でもずっと会話を続けていれば「時には」ミスしてしまうでしょうが、再確認した後もなおいきなり間違えたりはしないでしょう。ひみつ道具「ウソ800」の説明をしても「うれしい。これからもまたドラえもんと一生暮らしたい」と言って本当に最終回になってしまいそうです。

ChatGPTをわかりやすく解説した以下の記事の冒頭にはこう書いてあります。

もちろんこれだけだとマルコフ連鎖と変わらないのでもっと複雑な処理をしている訳ですが、基本的な仕組みはこれぐらいだったりします。
「なんでロックやルソーの思想の解説ができるAIがこんな訳のわからない返答をするんだ」と困惑された方もいると思いますが、本を学習させればそこには哲学者の議論も載ってるからそれを元に文章を生成できます。しかし「UUIDから運勢占い」とかの場合既存の文章からは生成できないので、とりあえず「UUID」を生成し、「運勢占い」でよく使われる構文を返してるのだと思います。
「学問」というのは難しいものだと思われていて、実際難しいですが、AIにとってはimitation gameするだけならカンタンかもしれません。何故なら学問ではちゃんと根拠を書いて論理的に議論を進めなければいけない等ルールが決まっている、つまりパターン学習しやすくなってるからです。「決められたことしかできない」コンピュータにとってはむしろ好都合です。AIにとっては「学問」より「雑談」の方が難しいと思われます。

この記事でも使いましたがよく「AIは人間を超えるか？」と言われます。しかし、「整数同士の掛け算の速さ」とかなら世界初の（チューリングマシン）コンピュータENIACの時点で超えています（ノイマンはENIACより計算が速かったそうですが、現在のコンピュータには普通に負けるでしょう）。「AIは将棋/囲碁の世界最強の棋士にすら勝てる。もはや人間を超えた！」と言うのはある意味「電卓は4桁の整数同士の掛け算を一瞬でやってのける。もはや人間を超えた！」と言うのと変わりないかもしれません。

実際、AlphaGoを開発したDeepMindがその後何に挑んだかご存じでしょうか？ 「スタークラフト2」というゲームです。

「何それ？」と思うかもしれませんが海外では人気のゲームのようです。そして人類の上位0.2%に登り詰めました。
上位0.2%？ 囲碁では世界最強の棋士に勝ち、さらに自ら開発したAlphaGoZeroは人間の棋譜を一切参考にせずAlphaGoに百戦百勝で圧倒し完全に人類より遥かな高みに到達したのに？
英語版Wikipediaをざっと読んだところ「不完全情報環境に応用できる」と書いてあったので、どうも不完全情報ゲームだから人類に勝てなかったようです。将棋や囲碁のWikipediaを見ると二人零和有限確定完全情報ゲームで理論上は先手必勝か後手必勝か引き分けになるという聞いたことねーよそんなのという言葉が出てきますが不完全情報ゲームではAIはまだ人類を超えられないようです。通常は囲碁や将棋の方がビデオゲームより高尚とみなされ、実際囲碁/将棋最強の棋士はプロゲーマーより「頭がいい」と思いますが、AIは「思考」方法が根本的に異なるので人間の苦手な分野では人類を圧倒できるのに別の分野では幼稚園児未満の能力しか発揮できなくてもおかしくありません。

タイトルに"「AIはすごいことができる」と「AIはこの程度の事しかできない」は両立する"と書きましたが、正確には「AIはこの程度の事しかできないのにすごいことができる」と言うべきかもしれません。ChatGPTの解説にも書いてあるようにやってることは単純でも、それが「学問」「囲碁」のように「形式」が決まっているなら大量の「学習（演算）」を行なえば「人間にとっては」難しいことができるようになる。逆にそれができない分野だと数億のデータを「学習」してもできない。ChatGPTは時給2ドルの大量の劣悪人力労働で成り立っているという話がありますが、（幼稚園児なら数枚の写真で十分なところを）数億枚以上の写真データを「学習」しないといけないように、「AI」それ自体が大量の演算を行なう重労働で人間ができることを可能にしている面があります。
今のAIの主流の深層学習は人間の脳をimitateしている、だったら人間の脳をそのまま「AI」として使えばいいじゃないかと言わんばかりの「AI」を研究している会社もありますが、チューリングマシン上で動作する「AI」では根本的にimitateできないことは確かです。