日本語文字の現状

規格の意義

0 この話の前提

通信を行うにせよ、コンピュータが情報を記憶するにせよ、一対一でなく複数の関係（発信者：受信者、データとアプリケーション等）になってくると、共通の取り決めで混乱を防ぐことが重要になってくる（右図）。
この章では、その取り決めが形成されてきた課程と現状を理解するための一例として、文字データの表現について扱う。
一般的に規格の類のものは、右下図のように２種類の形成過程のいずれかで作られるものであることも意識しておこう。
- 例えば .DOCX、.XLSX といったMS-Officeのファイルは特定の会社の製品の独自規格であることは皆さんご存じだろう（こういったものは他にも多くある。こんな検索をして確かめておこう）。

1 日本語以前

ASCII文字コードを中心に、すでに解説したが、以下に要点のみ再掲する。

ASCII文字コードは7bitコード。ということは2⁷=128個分のコード空間がある。
英文字と数字、それに若干の特殊文字がその中に収容されている。
8bitに拡張して（2⁸=256）広がった128文字分の空間に半角カタカナを入れて使う規格もある（が最近はあまり使われない）。
ASCII文字コードを追認する形で現在は米国ではANSI規格として通用している（名前が違うが同じものと認識していい）。

2 PCの日本語化

前提

日本語で使われる文字数は、カタカナ⁺ひらがなだと約100文字、漢字を合わせると約１～２万文字というオーダーになる。
この文字数を収容できるコード空間として 16bitあれば足りることは簡単に概算できるだろう（右図；ただし正確には15bit）。

経緯

コンピュータで日本語を扱えるよう、日本語の文字コードがJIS規格として制定された（1970年代）。
- 含まれるのは漢字だけではないのだが「漢字コード」という呼び方もされている。
- 文字コード表 JISコードやJIS X 0208コード表などで確認されたい。
- JISをとりまく事情については文字コード問題早わかり２漢字篇に詳しい。
JISコード表は、第１バイト、第２バイトともに 21₍₁₆₎～7E₍₁₆₎の範囲の値をとる。
- 0₍₁₆₎～20₍₁₆₎の範囲のコードは（ASCIIコード表でも見てきたが）制御文字として使われている。これと衝突する訳にいかないのでこの範囲（と7F₍₁₆₎）はコードとしては使われない。
「JIS」はご存じのように日本工業規格のことであり、これに関する情報を得るために「JIS」とだけ入れて検索すると雑音に埋没してしまうだろう。
- 「JIS 第一水準」などの用語を知っていると的確に絞り込めるだろう。［↑これが、文字コード（or 文字セット文字集合）］

ASCIIと日本語文字の併用

このJISコードは、従来のASCIIとの共存が問題だった。
たとえば「瘁」という漢字がある。区点コードで言えば65₍₁₀₎-65₍₁₀₎、JISコードは6161₍₁₆₎。
一方、ASCIIで ‘a’は 61₍₁₆₎で表されている。
テキストファイルの中にJISコードのまま日本語文字を記入した場合、「瘁」は「aa」と区別できないことになる。

エンコーディング

方策１：日本語文字を含む部分の直前と直後に目印を入れて区別する。
```
61 61 61 1b 24 42 61 61 1b 28 42
 a  a  a ESC $  B  a  a ESC (  B
                  ~~~~~~ この部分が日本語（２バイトで「瘁」を表す）
```
上図と右図は「aa瘁」と書いたファイル（をJISエンコーディングで保存したもの）の詳細（ダウンロードして自分で16進ダンプしてみて下さい）。
- ESC（制御文字の一つ;「エスケープ」と読む）から始まる３バイトの並びで、「日本語文字始まり」「日本語文字終わり」を表している（これをエスケープシーケンスと呼ぶ）。
- JISエンコーディング（現在の規格名は ISO-2020-JP）がこの方法に基づいている。
- この方法の場合、エディタ等のプログラムで日本語を扱う時に、「状態」（この部分はどっちのコードなのか）という余分な情報を保持しておくなど、プログラムが複雑になってしまう難点があり、コンピュータ内部でのデータ表現としては好んで使われていない（通信のためのデータ表現としては使われている）。
方策２：文字コードそのものに印をつける
- 具体的には、右図のように8bitのうちの最上位の（7bitコードでは使われていなかったので0になっている）bit（MSBと呼ぶ）を「立てる」（つまり 1にする）、という方法がある。
- Shift_JIS（当初は「MS漢字コード」と称した）やEUCといったエンコーディングがこの方法。これだと日本語部分とASCII文字部分が各バイトのMSBを見るだけで識別できる。
- 実際にはこの２つのエンコーディングではもう少し複雑な印のつけ方をしている（詳細は略す）が、原理的にはこのようなものだと認識して間違いない。
- 実際に Shift_JISで保存されたテキストファイルを16進ダンプさせてみると、日本語部分の各バイトの16進表記の上位桁（つまり左側の数字）が 8～F の間の値になっていることが確認できるだろう。
- 「MS漢字コード」を策定したMS（マイクロソフトの日本法人）が自社のOSの内部コードとして使い続けているのが Shift_JISによるエンコーディング方式。Windowsの内部、およびWindowsに標準添付されるアプリケーションが読書きに使う文字表現も（特に明記されることは少ないが）このShift_JIS。
  - ネットで第三者により流通しているいわゆるOSSの類のもの（例えばAtomね）はこの制限を受けない（むしろShift_JISを疎外しているとも言える）。
  - Shift_JISのコード表（ネットに沢山あるが）として、たとえばこの文字コード表のページを活用してください。

用語の区別

以上、文字セットと、それに対するエンコーディング方式、という関係を見てきた。
「文字コード」はそのどちらの意味にも使われるやや曖昧な部分のある用語であるが、右図のイメージを頭に入れておいていただき、

3 多国語化

前述のエンコーディングのうち、EUCについては、日本語に限らずいくつかのアジアの文字体系にも適用可能なものとして設計されていたが、
コンピュータの利用が世界に広がるとそれでも不十分であることがわかった。
そこで世界各国で使われる文字を網羅した巨大な文字セットが策定されるようになった。
その結果として作られたのが UCSと呼ばれる規格。
- 正確に言えば Unicodeという規格を大手情報機器ベンダー数社で作り、それをもとにISOの規格としてUCSが決まったという流れだが、まあ同じものだと思ってて間違いはない。
この文字セットをどういう形でファイルに組み込む（かつ従来のASCIIと併用可能にする）か、その方式（つまりエンコーディング）として、UTF-8 などいくつかの方式（「文字符号化スキーム」とも呼ばれるが作られたという経緯。
- 上の図に習って図示すると右図のようになる。
- UTF-8のコード表もある（たとえばここ）。（文字数が多くサイズの大きいページになるのでご注意）。

結語

文字コード、という（やや曖昧な）用語でShift_JISやUTF-8を漠然と区別して使い分ける、という考え方で、日常の不都合はないだろう。
- が、区別して理解しておくと混乱や混同は少なくなる。
逆に、当初は独自規格だったものがマーケットに受け入れられ普及し、国際規格として認められるに至る過程で（中身はほぼ同じであるのに）名前が変わるという例も見てきた。
- 何と何が同じか、あるいは部分であるか、といった相互関係も認識しておく必要があるだろう。たとえば、
- （文字コードとしての）ASCIIとANSIはほぼ同じ
- UTF-8は、Unicodeと同等の規格のうちの１つのエンコーディング方式（他にもある）、だが同じ意味として使っている人も多い。
といった感じ（けっこう複雑ですよね）。