文字コードテスト
UTF-8 (BOM なし)・UTF-8 BOM 付き・Shift_JIS・CP932 の各文字コードの CSV テストファイルを無料ダウンロード。文字化けの検証や取込テストに。
UTF-8 (BOM なし) の CSV テストファイル
utf8.csv / 659 B
UTF-8 (BOM 付き) の CSV テストファイル
utf8-bom.csv / 662 B
Shift_JIS の CSV テストファイル
sjis.csv / 514 B
CP932 (機種依存文字を含む) の CSV テストファイル
cp932.csv / 518 B
文字コードテストの重要性
日本語を含むCSVファイルの処理では、文字コードの違いによる文字化けがよく発生します。特にExcelでの読み込み時にはBOM付きUTF-8が推奨されるなど、ツールごとに対応状況が異なります。
これらのテストファイルを使って、CSVインポート機能やテキスト処理ライブラリが各文字コードを正しく扱えるか検証しましょう。
主な文字コードの特徴
- UTF-8: 最も一般的。多くのプログラミング言語のデフォルト。
- UTF-8 BOM: Excelで日本語CSVを開く場合に推奨。先頭にEF BB BFの3バイトが付く。
- Shift_JIS: Windows環境で広く使用。一部の文字（〜、−など）で問題が生じることがある。
- CP932: Shift_JISの拡張版。髙・﨑・鉤括弧などの機種依存文字に対応。
📖 つまずきやすいポイント
同じ内容を UTF-8 (BOM あり / なし)、Shift_JIS、CP932 など複数の文字コードで書き出したファイルです。読み込み側がどれを正しく扱えるかを 1 セットで確認できます。ただし「化けなかった」ことは「判定できた」ことではありません。たまたま当たっただけということが起こります。
| ケース | 何が起きるか | どうする |
|---|---|---|
| Excel で開くと日本語が化ける | Excel は BOM の無い UTF-8 CSV をOS のロケール (日本語 Windows なら CP932) として読みます。ファイル自体は正しく、読み方が違うだけです。 | Excel に渡す CSV は UTF-8 BOM 付き (EF BB BF) で書き出します。BOM あり / なしの両方を この一覧で試して、どちらで化けるか確かめてください。 |
| Shift_JIS のつもりが CP932 だった | CP932 は Shift_JIS に ① ㈱ Ⅲ といった機種依存文字を足した Microsoft の拡張です。厳密な Shift_JIS デコーダはそこで例外を投げます。 |
日本語 Windows が出す CSV は実質すべて CP932だと思って、デコーダも CP932 (PHP なら SJIS-win、Python なら cp932) を指定します。 |
| 自動判定に任せたら短い行で外した | mb_detect_encoding や chardet は統計的な推測です。数十バイトしかない行や、ASCII だけの行では原理的に決められません。 |
可能なら推測させず利用者に選ばせます。すでに化けてしまったテキストを戻すなら 文字化け修正で候補を出して選ぶほうが確実です。 |
誤った文字コードで読み込んだだけなら戻せますが、その状態で保存し直すと戻りません。置換文字 (U+FFFD) や ? になった時点で元のバイトは失われています。取り込み処理では、変換前の生データをどこかに残しておくと救えます。