문자 인코딩 — UTF-8을 기본으로, 원본은 잃지 않게

# 한국어 텍스트는 UTF-8 에서 멀티바이트
text = "피파, 안녕"
b = text.encode("utf-8")
print(b)                     # b'\xed\x94\xbc\xed\x8c\x8c, \xec\x95\x88\xeb\x85\x95'
print(len(text))             # 6 글자
print(len(b))                # 17 바이트 — 한글 글자당 3 바이트

# Round-trip
back = b.decode("utf-8")
print(back == text)          # True

import io

# BOM 있는 파일 (Windows 메모장이 UTF-8 로 종종)
with_bom = b"\xef\xbb\xbfhello"

# utf-8 — BOM 첫 글자로 남음
print(with_bom.decode("utf-8"))         # '\ufeffhello'

# utf-8-sig — BOM 소비
print(with_bom.decode("utf-8-sig"))     # 'hello'

# BOM 있을 수 있는 파일 읽을 땐 utf-8-sig 선호
# BOM 있고 없고 둘 다 관용

# CP949 = 한국 Windows 인코딩
text = "안녕"
cp949_bytes = text.encode("cp949")
print(cp949_bytes)            # b'\xbe\xc8\xb3\xe7'

# UTF-8 으로 디코드 시도 — 실패
try:
    cp949_bytes.decode("utf-8")
except UnicodeDecodeError as e:
    print("위치:", e.start)
    print("이유:", e.reason)
    # 에러가 디코딩 실패 위치 정확히 알려줘

# 맞는 인코딩으로 — 작동
print(cp949_bytes.decode("cp949"))     # '안녕'

messy = b"hello \xff world"           # 잘못된 UTF-8 바이트

# strict — raise
try:
    messy.decode("utf-8")
except UnicodeDecodeError as e:
    print("strict:", e)

# replace — 잘못된 바이트가 U+FFFD
print(messy.decode("utf-8", errors="replace"))   # 'hello \ufffd world'

# ignore — 잘못된 바이트 떨어뜨림
print(messy.decode("utf-8", errors="ignore"))    # 'hello  world'

# Backslash-escape — 보이는 표현
print(messy.decode("utf-8", errors="backslashreplace"))   # 'hello \\xff world'

# 표시엔 'replace', 드물게 'ignore', 코드엔 'strict' (디폴트)