日本語文字コードについて

PCの黎明

歴史的事情と現状

PCの始まりの頃（1980年頃；右図）、コンピュータの画面には英語しか表示できなかった。その後、各PCで各国語が使えるよう努力が行われた。
黎明期に採用されたOSの１つが DOSであり、その流れを受け継いでいるOSがWindows。そのWindowsでは、日本での普及を図る過程で採用された文字コード（シフトJIS)が今も標準として使われている。
他に、PC以外のコンピュータや電子メールが普及していく過程で、 EUC、JIS といったコードも採用され、３種類のコードが役割分担をしつつ使われてきた。
その後、ユニコードと呼ばれるコード体系が作られ、普及が進んだ。ネット上のコンテンツではそのユニコードの一種であるUTF-8が今は主流になっている。

注

文字コードを取り巻く話は実はかなり複雑なので、混乱を避けるべくここではざっくりの解説にした。
- 「文字コード」および「エンコーディング」といった用語は厳密には使い分けられているがここでは区別せず使っている。
- なお、現状についてより詳細な話は、たとえばWikiPediaのページをあたるといいだろう

ユーザにとっての問題点

アプリケーションが、受け取った（ファイルから読み取った、もしくはネットワークから受信した）データについて、
正しく文字コードを認識して扱うことができれば、問題は発生しない。
が、多くのアプリケーションは適切に判断できなかったり、扱える文字コードが限定されていたりする。
Windowsパソコンでスタンドアロンの（すなわちネットワークを使わない）アプリケーションを使ってる分には、すべてShift_JISで成り立っていて問題は発生しないが、
ネットワークを使うアプリケーションだとWindows標準との齟齬が発生しやすい

WindowsでUTF-8 という選択

Webを扱うの実習で扱う作業では、日本語（など英数字以外の文字）を使うならば、 UTF-8で文書を作る（または保存の時に文字コードとしてUTF-8を選択する）ようにしておくのが最も無難である。
Windows環境でも、UTF-8の文書を開けられないエディタは殆どなくなっている。
- 逆に、UTFしか扱えないエディタがいくらか現れている。（たとえば Sublime Text）
- これは、開発系のソフトウェアはUnixやMacで先行して使われた後にWindowsに移植されるケースが多いため
それらのエディタで、UTFでの保存もできる。
- ただしメモ帳やTerraPadなどでは、新規作成したファイルの保存の際に、コードを指定する手数が１つ余計に必要となる。
UTF-8で保存する時、BOM （バイト・オーダー・マーク; 厳密にはBOMではないが一般にBOMと呼ばれている）が先頭に付加されない形式を選択すること。
- プログラムのソースコード等で、BOMつきのファイルだとエラーを起こすことがあるため。
これらのことを考慮したときに、メモ帳以外の適切なエディタを使い慣れておくことが望ましいだろう。
- メモ帳の問題点を指摘したサイトが参考になる
なお、

補足解説

エディタによってファイル保存時のエンコーディングの扱いは違う（読込みは多くの場合に自動判別するが）。
- メモ帳はファイルを開く/保存する際のダイアログボックスに文字コード選択のためのプルダウンメニューがある
  （ただし勝手にBOMをつけてしまうようなのでお薦めしない）。
- TeraPad はよくある「保存」や「名前をつけて保存」以外のメニュー項目で保存する必要がある（「文字コード指定保存」）
  - UTF-8N の “N”が No-BOMの意味（紛らわしいが）なのでこれを選ぶ
  - メモ帳でもそうだがTeraPadでも後述の「拡張子 .txt を勝手につけてしまう」問題にけっこう遭遇するようだ
- Atom Sublime Notepad++ 等の開発者向けエディタはUTF-8がデフォルトになっている（か、SublimeのようにそもそもUTF-8しか使えないか）ので比較的安心
言語処理系が内部で使う文字コードも、環境毎にデフォルトのエンコーディングがあり、 Windowsでは Shift_JISというケースも多い。以下のいずれかの方法で対処されたし。
- コマンド起動時のオプションで選択（ruby -EUTF-8 など）
- そのオプション相当の指示をコマンドプロンプトを開いた時に環境変数としてSETする
```
   :: Ruby の場合は、
   set RUBYOPT=-EUTF-8
   :: 永続的に設定するなら setx RUBYOPT -EUTF-8
   ::    これで環境変数として設定される
```
- 環境変数を設定する
  - （方法はここ等を参照のこと
  - sysdm.cpl という名前を覚えておくといい。）
  - GUIを使う以外に前項のようにSETXコマンドを使うCUI技もある（「setx 名前値」のように、setと違って = が不要）。
  - DevBox.rapidEE というソフト（chocoで入れられる）があるともっと便利
- ちなみに Java、Scalaを使う人は JAVA_OPTS SCALA_OPTS といった変数を使います。
UTF-8で保存されたHTMLファイルがブラウザで文字化けを起こさないためには、 metaタグをHTMLファイルの２行め（doctypeの次の行）に入れておくといい。
- HTML と SLIMで書く例を以下に示す。
```
    <meta charset=utf-8>
```
```
    meta charaset="utf-8"
```
  - SLIMでは属性値はダブルクォートで囲んでおくこと
  - HTMLでもダブルクォートまたはシングルクォートで囲むのが望ましいが裸でもエラーは起こさない
  - 古い書き方（長くて面倒）が提示されているサイトをよく見かけるが、 HTML5の時代にはこちらで充分。
Webに置かれたプレインテキスト（HTMLでない可読コンテンツ）の場合はメタタグによる方法は使えないので、HTTPレスポンスヘッダの Content-typeヘッダの charset指定がよく使われる
- ブラウザの開発ツール（F12→ネットワークのトラフィックのキャプチャ機能）で確認してみて下さい
- コンテンツ提供者は、.htaccessファイルに「AddDefaultCharset UTF-8」を記入するなどの方法で対処しているようです
- そういう配慮が不十分なサイトもあり、文字化けが発生しているようなら（Web読者の立場のあなたは）ブラウザのメニュー「エンコーディング」（場所はブラウザによって違う）で適切なコードを推測し選んで対処して下さい。