Python 톺아보기 1화 - 토큰화(Tokenization)

Python 에서는 코드를 의미 있는 단위로 나누기 위한 토큰화 작업을 거친다. 이 작업을 거치면 코드는 토큰으로 분해된다. 오늘은 tokenize 모듈을 사용해서 이를 한번 눈으로 보고 확인해보도록 하자. import tokenize import io # 토큰 타입 이름 확인 print("주요 토큰 타입:") print(f" NAME: {tokenize.NAME} - 변수명, 함수명 등") print(f" NUMBER: {tokenize...