Devanagari(아부기다)와 일본문자(음절문자) – 正音과 비교

산스크리트 자음 배치표와 일본 오십음도를 비교하며, 空海(구카이)가 실담문자의 음성학을 일본에 전했다는 설, 탁점·반탁점의 등장, 그리고 두 문자와 훈민정음의 구조적 차이를 살펴봅니다.

아래는 저자의 책 《正音으로 듣고쓰다》 247–251쪽의 최종본 전문입니다. PC에서는 아래 창에서 책 지면(표·그림 포함)을 그대로 넘겨 볼 수 있고, 휴대폰에서는 다운로드 버튼으로 PDF를 열 수 있습니다.

[247쪽은 표·그림 중심의 지면입니다. 위 PDF 지면에서 보세요]

자음을 무성/유성/무기/유기와 5가지 조음점으로 분류하는 것은 인도땅에서 발원한 음성학적 지식(식샤, Śīkṣā)에 기반한 문자들이 공통으로 물려받은 유산(legacy)이며, 크메르문자(캄보디아)/ 일본문자/ 태국문자/ 몽골의 소욤보 등 여러종류가 있으나, 각국의 21세기 디지탈 교육환경(등교한 자녀가 LLM ai에게 음성으로 질문하고 대화하며 교육 받는 시대)은 모음을 어떻게 처리했느냐에 따라 희비가 엇갈리게 된다. 일본 가나에서는 데바나가리가 a i u e o 10가지 장·단음을 ◌ा ि◌ ◌ी ◌ु ◌ू ◌ृ ◌े ◌ै ◌ो ◌ौ 의 형태로 붙여 표기하던 것을 カキクケコ처럼음절단위 완제품 으로 만드니 오십음도(五十音圖)의 행/단이 된다. 빠진 장모음 5가지는 ā는 ああ로 실제 단어에서는 おばあさん (오바아.상)이 되고, ī는 いい로 おじいさん(오지이.상)이 된다. 한글표기시에는 ‘바아’ ‘지이’로 동일 모음을 늘려쓴 것이 시각화 되지만, 일본가나에서의 ばあ じい는 생긴 모양에 연관성이 없고, 히라가나만 해도 총46字가 되기에 4set 자음과 권설음까지 표기하는 막강한 데바나가리(35개의 자음과 14개의 모음)에 비해 표음능력은 줄어들면서, 그렇다고 암기해야 할 글자수가 그닥 줄지도 않은 결과물이 일본가나이다. 힌디어권에서는 외국어 학원에서 IPA 대신 데바나가리로 발음을 표기하는 경우도 흔한 반면 일본식 영어교육이 만든 웃긴 발음들이 개그소재가 될 정도로 표음력은 낮은 편이다. 다만 표음문자의 표음 스펙트럼이 넓다는 것 자체가 AI 시대에 과연 국가적인 강점

이 되는지는 그 세부를 살펴야 한다. 외국지명/人名 등 외국발음을 한글의 ‘외래어 표기법’을 준수하지 않고 각자 마다 현지 발음에 가깝다고 생각되는 철자로 표기하거나, 표음스펙트럼이 더 넓은 훈민정음을 이용해 ㆁㅿㆆㅸㆄ ㆎᅲᇥ등이 더해지면 같은 단어가 서로 다른 철자로 표기되는 파편화(orthographic fragmentation)가 진행되고, 같은 질문에도 AI가 소모하는 전기소모량은 늘어나고, AI를 학습시키는 과정에서도 파편화된 DB가 문제가 된다. 철자의 파편화를 막고 lexical stability를 지키는 기능이 가장 막강한 문자는 바로 한자이다. 한자는 애당초 표음의 숙명을 짊어지지 않았기에 동음이의어/ 동철이의어 라는 것 없이 동일한 모양이 동일한 뜻을 지닌다. 지상의 시장 상인과 손님들간에 오가는 말소리는 10-30년만에도 유행따라 조금씩 바뀌는데 그런 유행에 표음문자는 오랜 세월 견뎌낼 힘이 없지만, 한자는 마치 하늘에 떠있는 달이나 목성처럼 인간이 자신을 건드리는 것 자체를 막고 있다. 물론 하늘의 달이 동일해도 바라보는 사람의 심상(心狀)에 따라 다르게 읽히듯, 같은 한자도 시대에 따라 새로운 의미가 덧붙여지는 것은 피할 수 없으나 최소한 표음문자처럼 의미뿐 아니라 형체(철자)까지 바뀌는 일은 겪지 않 는다. 일본어가 AI시대에도 토큰 효율성이나 전력소모량 대비 답변품질에 문제가 없는 것은 가나가 잘 만들어진게 아니라 문장에 금강석처럼 박혀 있는 한자가 의미를 단단하게 만들고 한자사이 관계를 가나로 윤활하여 이뤄지는 것으로 보인다. 여기까지 보면 일본가나는 한자혼용을 유지한 덕분에 AI시대에도 후손들이 tokenizer 효율 문제를 겪지 않을 뿐, 데바나가리를 음절문자로 개조하는 과정에서 표음능력은 축소되고 익혀야 할 글자수도 줄이지 못한 하나마나 디튠처럼 여겨질 수 있다. 하지만 virama가 붙어 자음끼리 결합할 때 모양이 바뀌는 행태나 그보다 복잡한 복합자음(conjunct consonant)의 결합모양을 보면, 절에 시주로 들어오는 쌀로 먹고 살면서 10년 넘게 경전만 잘 암송하면 되는 티벳승려의 삶이 아니라 1년 내내 농사도 짓고 장사도 하며 살아야 하는 일반백성이 단기간에 익혀 쓰기에는 46字 음절문자(syllabary)로의 디튠결정도 이해가 가는 것이다.

[248쪽 표·그림은 위 PDF 지면에서 볼 수 있습니다]

AI시대 tokenizer의 효율개선과 최적화는 계속 진행중이지만, 근본적으로 철자 파편화가 높거나 어휘동일성이 낮 거나 unicode 대응이 복잡한 문자는 효율향상에 한계가 있을 듯하다. 데바나가리(아부기다)와 한글을 비교해보면 표음능력은 데바나가리가 더 높지만 표음주의를 채택함으로서 철자 파편화가 심한 반면, 한글의 아버지들은 형태주의를 택했고 unicode 대응역시 한글은 11,172字 전체가 완성형(precomposed syllable)으로 들어 있어 tokenizer 입장에서 복잡함이 크게 줄어들었다. 중국/일본은 한자 덕분에 높은 lexical stability를 유지하며 일본은 2136字, 중국은 3500字 정도의 한자를 교육한다. 한국도 교육부가 1800字의 기초한자를 지정하고 있으나 일상생활에서는 한글로만 생활하는 경우가 많다. table에서 한자/ 가나/ 한글/ 로마자/ 데바나가리/ 아랍문자를 비교하기에 마치 AI시대의 문자 우열순위(tokenizer 효율성)를 말하고자 하는 것처럼 보일 수 있으나, 사람이 할수 있는 것은 AI도 할수 있고 시스템의 병목지점은 항상 인간이라는 것을 깨달으면, 철자파편화가 심한 아랍어/아랍방언을 제외하면 시간이 갈수록 자기문자에 맞는 tokenizer 최적화를 통해 AI 전력효율도 개선될 것이다. 오히려 표에서 알 수 있는 것은 좁고 깊고 정확한 검색을 위해 어린 시절에 습득해 두어야 할 것은 로마자 계열에서는 라틴어, 동북아에서는 한자이니 만약 한국 중학생이 라틴어 기원의 어휘나 한자를 섞어서 교착어인 한국어 문장으로 AI에게 질문하면 관념적/ 추상적이거나 역사적으로 오랜 함정과 파훼법이 덧칠되어 온 문제(가량 종교/법철학적 질문)라도 짧은 길 이의 질문으로도 원하는 논의 문서로 빠르게 찾아 들어갈 수 있지 않을까? 즉 라틴어/한자가 의미정보효율을 높여 주고, 교착어에 발달한 조사/어미가 관계정보효율을 높여주며, 한자조어의 경우 哲學philosophy 主觀subject 歸納 induction 대신 철학·주관·귀납으로 타이핑해도 되니 《빠른 입력속도+높은 lexical compression》이 이루어진다.

이 책에서 세계각국의 노래를 正音으로 표기하면서, 한글보다 더 정교한 표음이 가능하다는 것을 보이고 있지만, table에서 표음 스펙트럼이 넓은 데바나가리가 시각단위-유니코드 대응이 복잡하여 AI tokenizer 효율저하로 이어 지는 것을 보면, 표음능력이 넓으면서도 철자파편화를 줄이고 어휘동일성을 유지하려면 문자구조가 잘 설계되어야 함을 알 수 있다. अ/a/를 내포한 자음을 몸통삼아 4면에 diacritic형태로 모음을 가져다 붙이는 아부기다는 키보드 입력시대는 물론 음성인식 시대에도 ai와 대화를 하면서 더 많은 토큰을 소모시킨다. 반면 데바나가리와 마찬가지 로 첫소리 ‘ka’로 시작하는 일본가나와 한글은 모음을 행/단에 맞춰 넣어 음절문자(syllabary)로 만들거나, 수직수평 선(ㅣㅡ)에 좌표(ㆍ)를 찍는 천지인 체계로 만들어, 음성으로 text를 입력할 때 ai의 日語/한국어의 처리속도/ 인식 율/ 토큰효율은 영어와 비슷한 수준에 이르렀다. 한국인들은 일본인이 하는 한국말을 듣고나서 왜르케 받침 발음을 못하냐고 흉보고(강남, 공룡, 밤양갱, 동전지갑) 일본인은 한국인이 하는 일본말을 들으며 왜르케 무성/유성 구분을 못하냐고 흉본다. 음성적 기억보다 시각적 기호가 선명하니, 탁음에 점 찍힌 문자를 쓰는 그룹은 유성/무성 구분에 민감하고, 초성부용종성에 겹받침까지 사용하는 그룹은 종성발음에 민감하다. 표음범위가 가장 넓은 데바나가리 유저 입장에서는 한글이든 일본문자든 무성/유성/무기/유기 4set 중 일부가 빠져있는 절름발이처럼 보이지만, 두 나라의 문자는 표음 능력은 일부 떨어져도 ai의 음성인식 속도와 토큰효율에서 상위권에 머문다. 물론 마이크에 입력된 음성신호를 해당 언어의 문자로 변환하는 단계를 거치지 않고 그대로 입출력하는 native multimodal AI에 맞는 tokenizer가 발전하면 사용자의 문자권이 태국문자건 티벳문자건 효율 논란이 별 의미가 없어질 수 있지만, 결국 인류가 자기조상 중 천재 할아버지가 물려준 지식을 「문자」로 DB화 해놓는 한 AI가 학습하는 DB단계에서 부터 각국 문자의 토큰효율성은 논란이 되기에 장비-매니아들의 도마에 오를 수 밖에 없어 보인다.

[249쪽 표·그림은 위 PDF 지면에서 볼 수 있습니다]

데나나가리를 쓰는 힌디어에서 무성자음 ka ca ta pa는 ㄲㅉㄸㅃ로 발음되기에 유성자음 ga ja da ba를 ㄱㅈㄷㅂ로 표기하면 서로쉽게 구분이 된다. 무성유기음 kh ch th pa는 ㅋㅊㅌㅍ가 딱 어울린다. 한편 무성자음기호 우상단에 점2개를 찍어 간편하게 유성자음 기호를 만든 가나는 유/무성의 구분 이외에 유/무기의 구분에는 무심하기에무성 자음 か(ka)가 가~카로 들리고, こ(ko)는 고~코로 한국인의 귀에 들리니 표준표기법 제정에 어려움을 겪는다. 왼쪽 그림은 전자식 전화기에서 0~9의 숫자를 짧은 비프음으로 표현하는 방식이다. 2가지 고정주파수를 mix하여 개별숫자를 인식시키는게 기계가 소리로 소통하는 프로토콜이라면 인간음성학은 VOT의 -/+로 무성/유성을 구분하고 유성유기음은 breachy voice에서 H1-H2 차이가 커짐으로 인지한다. 서로 음성신호에서 변별자질로서 주의 집중해 듣는 부위가 다를 뿐이며 스타워즈의 R2D2가 직접 접속할 수 없는 다른 로봇들과 DTMF 음성신호로 소통하든 인간들이 조음기관이 내는 소리로 각자의 프로토콜에 따라 최소의미 대립자질을 정해 단어를 구별하든 근본은 같은 것이다. 이런 차원에서 보면, 일본가나의 청/탁 개념을 해례본의 전탁음(ㄲㄸㅃㅉ)에 투영하여, 전탁기호를 경음표기에 사용하는 것은 원형의 훼손이고 ㄲㄸㅃ로 gdb(유성자음)을 표기하고 한국어 경음은 ㅺㅼㅽㅾ로 표기 해야 민족혼이 바로잡힌다는 주장도 DTMF에서 ✻,0이 서로 자리를 바꿔야 9다음에 0이 와서 일관성에서 맞다는 주장만큼이나 전화교환기(아날로그 AI) 입장에서는 이래나-저래나 프로토콜 통일과 일관성만 지켜주면 되고 나머지 는 인간이 한쪽으로 정하면 될 일이다. ㄲㄸㅃㅉ로 유성자음을 표기하면 그것이 하던 경음표기를 ㅺㅼㅽㅾ가 맡으 면서 「ᄶᅡᆷᄲᅩᆼᄭᅡᆨᄯᅮ기」가 부활할 것이고, koguma 발음에 있는 무성k과 유성g의 차이를 「고꾸마」로 표기하여 외국인 이 한국어 속 유/무성의 차이를 시각적으로 인지하는데 편리할 것이나(손님 편하자고 안방을 바꾸는 꼴), ㄲㄸㅃ 를 경음표기로 배운 세대에게 내일부터 그건 유성음 표기라고 프로토콜 변경공지를 올려야 한다. 결국 일본가나의 유성자음을 그드브로표기하여 pre-contact 단계에서 클럽헤드(ㅡ)가 공이 닿지 않은 것처럼 표현하고, 데바나가리 유성유기set gha jha dha bha를 follow-thru 단계에서 공밑으로 지나간 클럽헤드 ᄀᅼᄌᅼᄃᅼᄇᅼ표기로 제안한 것은 한 국어에서는 중시하지 않는 음성 변별자질이지만 가나/데바나가리에 존재하는 자질을 기존 정음28字를 건드리지 않으며 최대한 깔끔하게 수납하는 방안이다. 이것은 이 책에서 자음 합용병서를 천간오합에 근거하고, 단모음12개 를 지지 형충회합에 근거해 풀어간 것과는 레벨이 다르다. 두가지는 해례본 본문 첫문장 天地之道 一陰陽五行而已 (만물의 원리가 음양오행에 있다)는 것에 근거한 것이고, 특히 모음나침반은 해례본 중성해에서 낳은자리(生)/이룬 자리(成) 운운하는 부분은 명리학 지장간 이론이 아니면 설명될 수 없는 것이기에 음양오행의 논리가 정연하지만, ㅡ를 골프클럽처럼 여겨 가나/데바나가리 표기에 적용한 것은 마치 취미로 인공문자(constructed scripts)를 만드는

[250쪽 표·그림은 위 PDF 지면에서 볼 수 있습니다]

해서 좋아지는 것은 인도 현지에 도착해서 저런 단어를 발음할 때나 유리해 지는 것이지, 문서작성에서 현지 느낌 을 살리겠다고 저런철자를 사용해도 AI tokenizer 입장에서는 철자파편화로 어휘동일성을 낮추는 행위일 뿐이다. 뒤에 등장하는 【정간보적 正音】 역시 일본가나/산스크릿 발음의 표기법도 포괄하고 있지만 훈민정음 동인회에서 세종골수팬이 만든 팬아트/2차 창작물 같은 것으로 천간합 합용병서/모음나침반 2가지를 제외한 다른 용법들은 학문적 근거는 미약하며 그저 IPA나 한글로 발음을 배우기 불편한 언어들을 표기하는 대안으로 여기면 충분하다. 요약하면 AI시대에도 문자로서 정비된 한글은 꽉찬 육각형 올라운더로서 훌륭하며, 단순히 표음능력이 더 좋다는 이유로 훈민정음을 표준으로 삼으려는 시도는 불필요해 보인다. 구어(입말)의 음운론과 너무 동떨어진 표음문자는 철자파편화를 가속시킬수 있지만(예를 들어 문자로 로마자만 주어진 인도네시아 소수언어들) 한글은 표음능력도 높은편이고 철자파편화를 심화시킬 수 있는 ㆁㅿㆆㆍ를 제거하여 AI는 11,172字의 완성형 음절문자로 tokenizer가 인식하고 반면 인간은 28字만 익혀 초·중·종으로 조합하면 된다고 여기기에 양쪽으로 유리한 것이다.

一國의 문자를 선택하는 것은 단순히 표음성능이 좋거나 디지털 입력이 편리하거나 시각적 압축효율이 좋은 것으로 결정되지 않으며, 매우 정치적인 행위이다. 국가로서 민족주의적 결집이 요청될 때는 “우리의 공통 할아버지는 누구인가? 그 할아버지가 남기신 문학작품에 쓰인 문자 아래로 함께 모이자” 라는 정치적 기치로서 결정되기도 하고, ‘우리나라를 전쟁에서 패배시킨 강대국이 쓰는 문자를 살짝 변형해서 우리도 그들이 사용하는 문자로 갈아타서 강대국이 되자’의 노선을 선택하기도 한다. 전자의 예는 외몽골과 내몽골의 통합을 위해 자형이 위치에 따라 변하고 게다가 세로쓰기여서 디지털 시대에 쥐약인 몽골 비치그(монгол бичиг)을 공식문자화 하려는 움직임이며, 후자의 예는 오스만의 후예인 튀르키예가 오른쪽에서 왼쪽으로 쓰는 아랍문자 계열의 Ottoman Turkish alphabet을 버리고, 로마자 기반으로 문자개혁을 한 것이다. 또 중국이 서양열강과의 전쟁에서 패배후 pinyin을 도입한 것이나, 소련해체 후 ‘스탄’국가들이 키릴문자에서 로마자로 바꾸고 있는 것도 비슷한 사례일 것이다. 현재 튀르키예語의 ai음성인식율이나 토큰 효율은 로마자 수준으로 무난한 편이나, 모음이 생략되고 3가지 밖에 없는 아랍문자들은 낮은 인식율과 토큰 효율을 보이니, 만약 튀르키예가 1928년에 문자개혁을 하지 않았다면 다가온 AI시대에 큰 곤란을 겪었을 것이다. 인간교사가 학생들을 가르치는 시대에는 정치인들이 정치논리로 공식문자를 채택해도 큰 문제가 되지는 않았다. 문자의 효율이 좀 떨어지더라도 어차피 학생들은 자신과 동일한 tokenizer을 사용하는인간교사에게 질문을 하며 학습하고 평가받는다. 하지만 ai가 최고의 교사가 되는 近미래사회에서 ai가 알아듣고 대답하는데 효율이 떨어지는 문자를 고집하는 국가/민족은 어떻게 될지 걱정된다. 아부기다(abugida)와 아브자드(abjad)124) 타입의 문자들은 AI 지능이 향상되더라도 동일한 대화에 드는 토큰효율 개선에 한계가 있어 보인다. 과거와 달리 자기나라 입말과 잘 맞지 않는 구성의 문자나 앞뒤에 오는 자음에 따라 결합자 모양이 계속 변하는 어려운 문자라도 정치적 지향점에 따라 강권할 수 있는 시대는 가고, ai에 친화적이지 않은 문자를 쓰면 자신의 아이가 AI tutor와 저능률의 말씨름을 해야 하는 시대가 되었다. AI 비친화적인 문자를 사용하더라도 해당국가 교육부가 배출한 교사들이 ai교사보다 훌륭하다면 문제될 것이 없겠으나… AI시대에는 아부기다를 사용하는 나라에서 훌륭한 엔지니어나 학자가 나올 수 없다는 말이 아니다. 이미 인도IIT 수업은 100% 영어강의와 교재로 이루어지며 실리콘 밸리의 인도수재들 역시 영어로 코딩하며 인도 국제학술회의는 영어로 치뤄진다. 반면 인도시장의 간판은 데바나가리와 hinglish가 뒤덮고 있고, 발리우드 영화의 자막 역시 마찬가지이다. 수많은 인도인들이 핸드폰 속 WhatsApp과 커뮤니티에 hinglish 질문과 대화를 쏟아내고 있으니, 데바나가리 대신 hinglish로 질문하면 답변의 퀄리티가 높지않겠나 생각할 수 있지만 공식문자는 데바나가리이기에 hinglish에는 공식철자법(orthgraphy)이 없어 ai가 학습할 hinglish DB는 파편화 되어 있다. 더 깊게 보면 아부기다/아브자드를 고수하는 국가는 AI답변 퀄리티가 2층으로 이원화 될 것으로 예상되며 고급지식은 영어로 저술되는 힌디어권의 토큰세(tokenizer tax)는 아부기다 국가 중에서는 가장 낮은 편이고 아랍어보다 형편이 나을 것이다. 아랍문자(Abjad)를 사용하는 아랍권에서는 지배층의 언어이자 문어체인 푸스하(Fusha)와 피지배층의 언어이자 구어체인 암미야(Ammiya)가 철저히 분리되는 양층언어(Diglossia) 현상이 과거부터 존재했다. 아랍 시장상인들이 평생 장터에서 외치는 구어체 암미야로 ai에게 질문하면 아브자드 문법과 호환되지 않아 글로 옮기기 까다로워, 푸스하로 기록된 꾸란, 법률, 국가정책, 고급학습정보를 잘 찾아주지 못하는 것이다. 다만 최근 등장한 네이티브 AI모델은 사용자의 음성을 텍스트로 바꾸지(STT) 않고, 음성 파형(audio wave) 자체를 다이렉트로 이해하고 음성으로 대답한다. 그러니 일상잡담, 버터 치킨카레 만드는 법 같은 걸 질문했을 때에는 답변퀄리티가 그리 다르지 않은 반면, 고등지식 가령 양자터널링 현상, 파이썬 코드, STEM 분야 질의에서는 힌디어권 엘리트가 작성한 자료라도 대부분 영어text 기반이며, 해당국가의 sovereign power를 유지시키는 법률/ 판례/ 세법/ 행정조례에서 ai가 학습할 만한 문어체 아부기다/ 아브자드 자료는 대부분 공개되지 않으며, 실생활/ 영화/ 시장의 말인 구어체 질문은 orthography의 파편화로 AI hallucination의 빈도가 높아진다. 요약하면 AI시대의 토큰세(tokenizer tax)를 문자타입으로 분류하면 Abjad가 가장 심각한데 이것은 abjad자체 이외에도 아랍어/ 페르시아어에서 word boundary가 불명확하여 토큰효율을 낮추는 것+ 양층언어 등 여러 요소가 복합된 결과로 보이며, Abugida 계열 중 사용자숫자가 많은 힌디어/벵골어에서는 토큰 효율이 준수한 편이나 네팔/ 미얀마/ 스리랑카/ 에티오피아/ 태국에서는 적은 speaker숫자+ 3면에 첨자가 붙는 아부기다 자체의 비효율성까지 겹친 것으로 보인다. 특히 같은 언어에 다른 문자를 채택한 Hindi(데바나가리) vs Urdu(아랍문자)의 토큰세 비교나 외몽골(키릴) vs 내몽골(전통문자)의 비교는 흥미로울 것이다. 전자는 Abugida vs Abjad의 대결이 되고 아랍어의 root–pattern morphology가 없지만 아랍문자(arabic-perso)를 사용하는 페르시아까지 비교하면 저효율이 abjad의 기여인지 아랍어 구조자체인지 나눠볼 수 있을 것이다. 몽골 전통문자(Mongol bichig)는세로쓰기+ 인접글자에 따라 자형이 계속 변하여시각단위(Grapheme) 유지측면에서 매우 불리하고, 외몽골이 선택한 키릴은 로만알파벳 못지 않게 효율이 좋아 內몽골이 전통문자를 계속 고수할지 흥미롭지만, 내몽골인의 80%가 mandarin을 사용한다는 통계를 보면 AI에게 질문할 때는 이미 토큰효율 좋은 중국어로 우회하고 있을 가능성도 높아 보인다.

토큰세 risk = 복합문자/비주류문자× 저자원 언어× 형태적(Grapheme) 복잡성× Diglossia/표기분산

음절문자(Syllabary)의 관점에서 보면 재미있는 것이 있다. 동북아시아의 한·중·일 3개국의 시민들은 서로의 문자를 한자만 공유할 뿐 완전히 다른 문자체계라고 인식하지만, 그걸 Unicode로 처리하는 토크나이저 입장에서 보면 중국은 3500개(상용한자)의 음절漢字를 쓰고, 일본은 2,136字 + 100여개의 가나, 한국은 2780字126) 내외의 음절 완성형 한글(precomposed syllable)로 한자조어들을 입력하면서 로마자와 비슷한 토큰효율을 달성한다는 것이다.

주석

  • 124) 아랍문자나 히브리 문자처럼 모음기호를 거의 적지 않거나 보조적이고, 자음순서가 중심의미를 결정하는 문자체계. 예를 들어 k-t-b는 ‘글쓰다’라는 중심의미를 형성하고 kataba (그가 썼다) kitāb (책) kātib (작가) maktūb (쓰여진 것)
  • 126) 공식적으로는 초성(19) × 중성(21) × 종성(28) 조합으로 11172字가 유니코드에 등록되어 있으나, AI에게 질문할 때 챍/뗇 같은 음절은 입력하지 않으므로, 한글 ai토큰나이저가 집중하는 부분은 과거 한글에서 자주 사용되는 음절로 정해진 ㉿완성형(1001) 2350字+ 똠/슌/렜/뱡/됭/귬/믜/슈/씃/텽/렫/뢔/펲 같이 인명이나 한글단어의 실제발음을 표기하여 교육하기 위한 부류인데, KFA(한국폰트협회)가 사용빈도와 표준어·주소·성씨·교육어휘 등을 고려하여 정한 폰트제작용 실용음절집합은 2780字 수준이다.

출처: 진현수, 《正音으로 듣고쓰다》, 247–251쪽.