(cache) 「文字列を文字の列とみなす単純化」ってどういうこと？解説編

2014-11-07

■「文字列を文字の列とみなす単純化」ってどういうこと？解説編

先日 @shyouhei さんのTweetに反応して文字列が文字の列かどうかが言語によって異なるという話をTweetしました。

shyouheiさんの投稿:

PythonはどうかしらんがRubyの設計思想は「世の中はシンプルじゃない」だからな。文字列を文字の列とみなす発想その物がすでにRubyからすると過度に世界を単純化しすぎている。

https://twitter.com/shyouhei/status/528106973565165568

もうちょっと言っておくと数値計算で勝ち目のないRubyは文字列処理にめっちゃ注力してるんで。文字列処理こそがRubyの主戦場。そこでRubyが文字列をあえてカタマリで扱ってることにはそれなりの理由というものがある。つまり分解しようとするほうが困りごとが増える。IVSとか。

https://twitter.com/shyouhei/status/528108890152386560

僕の投稿:

世の中にはJavaやPythonのような文字列を文字の列と考えてる言語と、そうではないRubyのような言語とがある、言語によって文字列の設計自体が違うんだ、ということはもっと知られてよいと思う。拙著コーディングを支える技術では五つの言語で文字列の設計を比較してる(ad)

https://twitter.com/nishio/status/529105331511492608

これに対して「えっ、文字列って文字の列じゃないの？！」という反応がいくつかあったようなので、補足説明しておきます。

文字列に対する一番素朴な考え方は「8bit(0～255)の値の配列」というものです。これを「文字の列」と考える人もいるでしょう。しかし、その考え方だと、ひらがなの"あ"は文字ではないことになります。しかたがないので、複数文字を特定の並びにした時には"あ"と解釈するという決め事をしたりしました。でも、これは不便でした。

そこで、ひらがなとか漢字とかも1文字だと考え、それぞれに16bitの数値を割り振ろうと考えた人たちがいました。そうやって出来たのがUnicodeです。この方法なら「文字列は(文字=16bit)の列だ」とシンプルになります。PythonもJavaも文字列を文字の列として扱います。なので1文字取り出したりするのがとても簡単です。めでたしめでたし。

ところが残念ながら世界はそんなにシンプルではなかったのです。「そもそも16bitの6万個程度では漢字を全部表現するのに足りないよね」「異体字はどうすんの」「"が"は単体で1文字なのか、"か"に濁点が付いているのか」「携帯のメール本文に顔文字が入れられるけど、これも文字だよね」「顔文字の顔の色の選択肢に黒がないのは差別だ！」などなどいろいろな問題が噴出しました。

Rubyは早々にUnicode路線に見切りをつけて「8bitの列に、それがどういう符号化の方式かの情報をセットにしたもの」を文字列だと定義する独自路線を取りました。筆者はこの設計の違いが影響するような仕事をしたことがないのでよくわかりませんが、Rubyだとなんか色々楽になるらしいです。

拙著「コーディングを支える技術」では、p.150から「文字とはなにか」という話が始まり、このあたりの話をもう少し詳しく書いてから5種類の言語で文字列の設計がどう異なっているかを解説しています。