ปัจจุบันเมื่อเราใช้บริการจาก AI ไม่ว่าจะจากเว็บไซต์ใดก็ตาม สิ่งที่เรามักจะได้ยินอยู่บ่อยครั้งก็คือ Token ออกเสียงว่า โทเคน ถึงแม้ว่าหลายเว็บไซต์จะใช้ชื่อแตกต่างกันไป แต่สรุปแบบมันก็คือ Token นั่นเอง แล้วมันคืออะไร บทความนี้เราจะมาทำความเข้าใจกันครับ
Token (โทเคน) คือ “หน่วยย่อยที่สุด” ของข้อมูลที่ AI ใช้ในการประมวลผลข้อความครับ หลายคนมักเข้าใจผิดว่า AI อ่านหนังสือเป็น “คำ” (Words) หรือ “ตัวอักษร” (Characters) เหมือนมนุษย์ แต่จริงๆ แล้ว AI จะมองข้อความเป็นชิ้นส่วนเล็กๆ ที่เรียกว่า Token เพื่อให้เห็นภาพชัดเจนขึ้น ลองจินตนาการว่า Token เปรียบเสมือน “ตัวต่อเลโก้” ที่ประกอบกันเป็นประโยค
1. Token ทำงานอย่างไร?
เมื่อเราป้อนข้อความเข้าไป (Input) ระบบจะทำการหั่นข้อความนั้นออกเป็นชิ้นๆ (Tokenization) ก่อนส่งให้ AI ประมวลผล
- ภาษาอังกฤษ: มักจะตัดตามคำ หรือพยางค์
- คำง่ายๆ:
apple= 1 Token - คำผสม:
hamburgerอาจถูกตัดเป็นham+bur+ger= 3 Tokens
- คำง่ายๆ:
- ภาษาไทย: จะซับซ้อนกว่า เพราะเราไม่มีเว้นวรรคระหว่างคำที่ชัดเจน และมีสระ/วรรณยุกต์ ซ้อนกัน
- คำว่า
สวัสดีครับอาจถูกมองเป็นสวัส+ดี+ครับหรือรูปแบบอื่นขึ้นอยู่กับโมเดล - ข้อสำคัญ: โดยเฉลี่ยแล้ว ภาษาไทยจะใช้จำนวน Token มากกว่าภาษาอังกฤษ ในการสื่อสารความหมายเดียวกัน (เพราะต้องตัดคำย่อยกว่า)
- คำว่า
2. สูตรคำนวณคร่าวๆ (Rule of Thumb)
แม้จะไม่เป๊ะ 100% แต่เรามักใช้สูตรนี้ในการประเมินปริมาณงานครับ:
- 1,000 Tokens $\approx$ 750 คำ (ภาษาอังกฤษ)
- 1,000 Tokens $\approx$ 400-500 คำ (ภาษาไทย) (โดยประมาณ)
3. ทำไมเราต้องแคร์เรื่อง Token?
การเข้าใจเรื่อง Token มีประโยชน์ต่อผู้ใช้งานใน 3 เรื่องหลักๆ ครับ:
- ค่าใช้จ่าย (Cost): บริการ AI แบบเสียเงิน (API) ส่วนใหญ่จะคิดเงินตามจำนวน Token (ทั้งขาเข้าที่เราพิมพ์ และขาออกที่ AI ตอบ) ยิ่งพิมพ์ไทยยาว หรือให้ตอบยาว ก็ยิ่งเสีย Credit เยอะ
- ความจำ (Context Window): AI แต่ละตัวมีความจำจำกัด (เช่น จำได้ 8,000 Tokens) ถ้าเราคุยยาวเกินจำนวนนี้ AI จะเริ่ม “ลืม” เนื้อหาช่วงต้นๆ ของการสนทนา เพราะ Token เต็มความจุ
- ความเร็ว (Speed): ยิ่งให้ AI สร้างคำตอบยาว (จำนวน Token เยอะ) ก็ยิ่งใช้เวลานานขึ้น
สรุปสั้นๆ: Token คือหน่วยนับปริมาณข้อมูลของ AI คล้ายกับที่คนใช้นับจำนวนคำ แต่ AI นับละเอียดกว่านั้นครับ หวังว่าเรื่องราวเกี่ยวกับโทเคนในบทความนี้จะช่วยให้คุณเข้าใจมากยิ่งขึ้นเมื่อใช้บริการ AI จากผู้ให้บริการแต่ละแห่งนะครับ