エンコードとデコードのメモ
参考
エンコードとデコード
- コンピュータが分かるように変換する → エンコード
- 人が分かるように変換する → デコード
デフォルトのエンコードを確認してみる。
import sys
print(sys.getdefaultencoding()) # utf-8エンコードしてデコードで戻してみる。
print("---------- default_hoge ----------")
default_hoge = 'あいうえお'
print(type(default_hoge)) # <class 'str'>
print(default_hoge) # あいうえお
print("---------- utf8_hoge ----------")
utf8_hoge = default_hoge.encode() # defaultencoding の utf-8 で encode される。'utf-8'を () 内に指定してもよい。
print(type(utf8_hoge)) # <class 'bytes'>
print(utf8_hoge) # b'\xe3\x81\x82\xe3\x81\x84\xe3\x81\x86\xe3\x81\x88\xe3\x81\x8a'
print("---------- decoded_utf8_hoge ----------")
decoded_utf8_hoge = utf8_hoge.decode() # 上記同様で'utf-8'を () 内に指定してもよい。
print(type(decoded_utf8_hoge)) # <class 'str'>
print(decoded_utf8_hoge) # あいうえお
print("---------- cp932_hoge ----------")
cp932_hoge = default_hoge.encode('cp932')
print(type(cp932_hoge)) # <class 'bytes'>
print(cp932_hoge) # b'\x82\xa0\x82\xa2\x82\xa4\x82\xa6\x82\xa8'
print("---------- decoded_cp932_hoge ----------")
decoded_cp932_hoge = cp932_hoge.decode('cp932')
print(type(decoded_cp932_hoge)) # <class 'str'>
print(decoded_cp932_hoge) # あいうえおcp932 を指定してエンコードしたのを utf-8 を指定してデコードしてみる。
print("---------- decode_error_1 ----------")
cp932_hoge = default_hoge.encode('cp932')
cp932_hoge.decode('utf-8') # UnicodeDecodeError: 'utf-8' codec can't decode byte 0x82 in position 0: invalid start byteutf-8 を指定してエンコードしたのを cp932 を指定してデコードしてみる。
print("---------- decode_error_2 ----------")
utf8_hoge = default_hoge.encode('utf-8') # UnicodeDecodeError: 'cp932' codec can't decode byte 0x86 in position 8: illegal multibyte sequence
utf8_hoge.decode('cp932')utf-8 とか cp932 とか
人とコンピュータが相互に理解できるようにする為には、対応表を二つ用意する必要があるようです。
それが「符号化文字集合」と「文字符号化方式」との事です。
そして utf-8 や cp932 は「文字符号化方式」の一つの方式のようです。
符号化文字集合
- 「文字集合」と「コードポイント」の対応表の事。
- 種類には、ASCII, ISO/IEC 6429, Unicode とかがある。
- 下記のようなイメージ。
| 文字集合 | コードポイント(10 進数) |
|---|---|
| あ | 12354 |
| い | 12356 |
| う | 12358 |
文字符号化方式
- 「コードポイント」と「バイト列」の対応表の事。
- 種類には、UTF-8, Shift-JIS EUC-JP とかがある。
- 下記のようなイメージ。
| コードポイント(10 進数) | バイト列 |
|---|---|
| 12354 | b'\xe3\x81\x82' |
| 12356 | b'\xe3\x81\x84' |
| 12358 | b'\xe3\x81\x86' |
符号化文字集合と文字符号化方式
前述する表を合わせると次のような表になる。
| 文字集合 | コードポイント(10 進数) | バイト列 |
|---|---|---|
| あ | 12354 | b'\xe3\x81\x82' |
| い | 12356 | b'\xe3\x81\x84' |
| う | 12358 | b'\xe3\x81\x86' |
コードで確認してみる
ord を使って「文字列」を「コードポイント」に変換してみる。
print(ord('あ')) # 12354chr「コードポイント」を「文字列」に変換してみる。
print(chr(12354)) # あ10 進数以外にも変換してみる
ord で変換すると 10 進数になるようなので、他の「x 進数」も試してみる。
# 0o 0x 0b は、プリフィックス。
print(ord('あ')) # 12354 ( 10 進数 )
print(oct(ord('あ'))) # 0o30102 ( 8 進数 )
print(hex(ord('あ'))) # 0x3042 ( 16 進数 )
print(bin(ord('あ'))) # 0b11000001000010 ( 2 進数 )まだまだ深そうですが一旦ここまでとします。
YouTube
