Token Counter

Introduction

ಟೋಕನ್ ಕೌಂಟರ್ ಒಂದು ಸಾಧನವಿದ್ದು, tiktoken ಗ್ರಂಥಾಲಯವನ್ನು ಬಳಸಿಕೊಂಡು ನೀಡಲಾದ ಶ್ರೇಣಿಯಲ್ಲಿನ ಟೋಕನ್‌ಗಳ ಸಂಖ್ಯೆಯನ್ನು ಎಣಿಸುತ್ತದೆ. ಟೋಕನೈಸೇಶನ್ ನೈಸರ್ಗಿಕ ಭಾಷಾ ಪ್ರಕ್ರಿಯೆ (NLP) ಯಲ್ಲಿ ಪ್ರಮುಖ ಹಂತವಾಗಿದೆ ಮತ್ತು ಯಾಂತ್ರಿಕ ಕಲಿಕೆ ಮಾದರಿಗಳು, ಪಠ್ಯ ವಿಶ್ಲೇಷಣೆ ಮತ್ತು ಭಾಷಾ ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವ ವ್ಯವಸ್ಥೆಗಳಲ್ಲಿ ವ್ಯಾಪಕವಾಗಿ ಬಳಸಲಾಗುತ್ತದೆ.

How to Use This Tool

1. ನೀಡಲಾದ ಪಠ್ಯ ಪ್ರದೇಶದಲ್ಲಿ ನೀವು ಟೋಕನೈಸೆ ಮಾಡಲು ಬಯಸುವ ಪಠ್ಯವನ್ನು ನಮೂದಿಸಿ.
2. ಡ್ರಾಪ್‌ಡೌನ್ ಮೆನುದಿಂದ ಎನ್‌ಕೋಡಿಂಗ್ ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ಆಯ್ಕೆ ಮಾಡಿ. ಲಭ್ಯವಿರುವ ಆಯ್ಕೆಗಳು:
   • CL100K_BASE
   • P50K_BASE
   • R50K_BASE
3. ಸಾಧನವು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಟೋಕನ್ ಸಂಖ್ಯೆಯನ್ನು ಲೆಕ್ಕಹಾಕುತ್ತದೆ ಮತ್ತು ಪ್ರದರ್ಶಿಸುತ್ತದೆ.
4. "ಫಲಿತಾಂಶವನ್ನು ನಕಲಿಸಿ" ಬಟನ್ ಅನ್ನು ಕ್ಲಿಕ್ ಮಾಡುವ ಮೂಲಕ ನೀವು ಫಲಿತಾಂಶವನ್ನು ನಿಮ್ಮ ಕ್ಲಿಪ್‌ಬೋರ್ಡ್‌ಗೆ ನಕಲಿಸಬಹುದು.

Tokenization Process

ಟೋಕನೈಸೇಶನ್ ಪಠ್ಯವನ್ನು ಟೋಕನ್‌ಗಳಂತೆ ಕರೆಯುವ ಚಿಕ್ಕ ಘಟಕಗಳಾದ ಟೋಕನ್‌ಗಳಿಗೆ ವಿಭಜಿಸುವ ಪ್ರಕ್ರಿಯೆ. ಈ ಟೋಕನ್‌ಗಳು, ಬಳಸುವ ಟೋಕನೈಸೇಶನ್ ಅಲ್ಗಾರಿದಮ್‌ಗಳ ಆಧಾರದ ಮೇಲೆ, ಶಬ್ದಗಳು, ಉಪಶಬ್ದಗಳು ಅಥವಾ ಅಕ್ಷರಗಳು ಆಗಿರಬಹುದು. OpenAI द्वारा ಅಭಿವೃದ್ಧಿಪಡಿಸಲಾದ tiktoken ಗ್ರಂಥಾಲಯವು GPT-3 ಮತ್ತು GPT-4 ಮಾದರಿಗಳಲ್ಲಿ ಬಳಸುವ ಪರಿಣಾಮಕಾರಿ ಟೋಕನೈಸೇಶನ್ ಅಲ್ಗಾರಿದಮ್‌ಗಳನ್ನು ಅನುಷ್ಠಾನಗೊಳಿಸುತ್ತದೆ.

Encoding Algorithms

1. CL100K_BASE: ಇದು OpenAI ಮಾದರಿಗಳಿಂದ ಬಳಸುವ ಇತ್ತೀಚಿನ ಎನ್‌ಕೋಡಿಂಗ್. ಇದು ವ್ಯಾಪಕ ಶ್ರೇಣಿಯ ಭಾಷೆಗಳನ್ನು ಮತ್ತು ವಿಶೇಷ ಅಕ್ಷರಗಳನ್ನು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ನಿರ್ವಹಿಸಲು ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ.

2. P50K_BASE: ಕೆಲವು GPT-3 ಮಾದರಿಗಳಿಂದ ಬಳಸುವ ಹಳೆಯ ಎನ್‌ಕೋಡಿಂಗ್. ಇದರ ಶಬ್ದಕೋಶವು ಸುಮಾರು 50,000 ಟೋಕನ್‌ಗಳನ್ನು ಒಳಗೊಂಡಿದೆ.

3. R50K_BASE: ಹಳೆಯ GPT-3 ಮಾದರಿಗಳಿಂದ ಬಳಸುವ ಇನ್ನೊಂದು ಎನ್‌ಕೋಡಿಂಗ್, ಇದು ಸಹ 50,000 ಟೋಕನ್‌ಗಳ ಶಬ್ದಕೋಶವನ್ನು ಹೊಂದಿದೆ.

Use Cases

ಟೋಕನ್ ಎಣಿಸುವಿಕೆ ಮತ್ತು ಟೋಕನೈಸೇಶನ್ ನೈಸರ್ಗಿಕ ಭಾಷಾ ಪ್ರಕ್ರಿಯೆ ಮತ್ತು ಯಾಂತ್ರಿಕ ಕಲಿಕೆಯಲ್ಲಿ ಅನೇಕ ಅಪ್ಲಿಕೇಶನ್‌ಗಳಿಗೆ ಹೊಂದಿವೆ:

1. ಭಾಷಾ ಮಾದರಿ ತರಬೇತಿ: ಟೋಕನೈಸೇಶನ್ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ತರಬೇತಿಗಾಗಿ ಪ್ರಮುಖ ಪೂರ್ವಪ್ರಕ್ರಿಯೆಯ ಹಂತವಾಗಿದೆ, ಉದಾಹರಣೆಗೆ GPT-3 ಮತ್ತು BERT.

2. ಪಠ್ಯ ವರ್ಗೀಕರಣ: ಟೋಕನೈಸ್ಡ್ ಪಠ್ಯವು ಸಾಮಾನ್ಯವಾಗಿ ಭಾವನೆ ವಿಶ್ಲೇಷಣೆ ಅಥವಾ ವಿಷಯ ವರ್ಗೀಕರಣದಂತಹ ಪಠ್ಯ ವರ್ಗೀಕರಣ ಕಾರ್ಯಗಳಿಗೆ ಇನ್ಪುಟ್ ಆಗಿ ಬಳಸಲಾಗುತ್ತದೆ.

3. ಯಾಂತ್ರಿಕ ಭಾಷಾಂತರ: ಟೋಕನೈಸೇಶನ್ ವಾಕ್ಯಗಳನ್ನು ಭಾಷಾಂತರ ವ್ಯವಸ್ಥೆಗಳಿಗೆ ನಿರ್ವಹಣೀಯ ಘಟಕಗಳಿಗೆ ವಿಭಜಿಸಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ.

4. ಮಾಹಿತಿ ಹಿಂಡಿಕೆ: ಹುಡುಕಾಟ ಎಂಜಿನ್‌ಗಳು ದಾಖಲೆಗಳನ್ನು ಸೂಚ್ಯಂಕಗೊಳಿಸಲು ಮತ್ತು ಪ್ರಶ್ನೆಗಳನ್ನು ಹೊಂದಿಸಲು ಟೋಕನೈಸೇಶನ್ ಅನ್ನು ಬಳಸುತ್ತವೆ.

5. ಪಠ್ಯ ಸಾರಾಂಶ: ಟೋಕನೈಸೇಶನ್ ಪ್ರಮುಖ ಶಬ್ದಗಳು ಮತ್ತು ವಾಕ್ಯಗಳನ್ನು ಗುರುತಿಸಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ, ಸಾರಾಂಶಗಳನ್ನು ಉತ್ಪಾದಿಸಲು.

6. ಚಾಟ್‌ಬಾಟ್‌ಗಳು ಮತ್ತು ಸಂವಾದಾತ್ಮಕ AI: ಬಳಕೆದಾರರ ಇನ್ಪುಟ್‌ಗಳನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಲು ಮತ್ತು ಸೂಕ್ತ ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಉತ್ಪಾದಿಸಲು ಟೋಕನೈಸೇಶನ್ ಬಳಸಲಾಗುತ್ತದೆ.

7. ವಿಷಯ ಪರಿಷ್ಕರಣೆ: ವಿಷಯ ಪರಿಷ್ಕರಣೆ ವ್ಯವಸ್ಥೆಗಳಲ್ಲಿ ನಿರ್ದಿಷ್ಟ ಶಬ್ದಗಳು ಅಥವಾ ವಾಕ್ಯಗಳನ್ನು ಗುರುತಿಸಲು ಟೋಕನೈಸೇಶನ್ ಸಹಾಯ ಮಾಡಬಹುದು.

Alternatives

ಈ ಸಾಧನವು ಟೋಕನೈಸೇಶನ್‌ಗಾಗಿ tiktoken ಅನ್ನು ಬಳಸುವಾಗ, ಇತರ ಟೋಕನೈಸೇಶನ್ ವಿಧಾನಗಳು ಮತ್ತು ಗ್ರಂಥಾಲಯಗಳು ಲಭ್ಯವಿವೆ:

1. NLTK (ನೈಸರ್ಗಿಕ ಭಾಷಾ ಟೂಲ್‌ಕಿಟ್): ಟೋಕನೈಸೇಶನ್ ಸೇರಿದಂತೆ NLP ಕಾರ್ಯಗಳಿಗೆ ಜನಪ್ರಿಯ Python ಗ್ರಂಥಾಲಯ.

2. spaCy: ಇತರ ಭಾಷಾ ಪ್ರಕ್ರಿಯೆ ಸಾಮರ್ಥ್ಯಗಳೊಂದಿಗೆ ಪರಿಣಾಮಕಾರಿ ಟೋಕನೈಸೇಶನ್ ಅನ್ನು ನೀಡುವ ಇನ್ನೊಂದು ಶಕ್ತಿ ಶಾಲಿ NLP ಗ್ರಂಥಾಲಯ.

3. WordPiece: BERT ಮತ್ತು ಇತರ ಪರಿವರ್ತಕ ಮಾದರಿಗಳಿಂದ ಬಳಸುವ ಉಪಶಬ್ದ ಟೋಕನೈಸೇಶನ್ ಅಲ್ಗಾರಿದಮ್.

4. ಬೈಟ್ ಪೇರ್ ಎನ್‌ಕೋಡಿಂಗ್ (BPE): ಟೋಕನೈಸೇಶನ್‌ಗಾಗಿ ಅಡಾಪ್ಟ್ ಮಾಡಲಾದ ಡೇಟಾ ಸಂಕೋಚನ ತಂತ್ರಜ್ಞಾನ, GPT-2 ಮಾದರಿಗಳಲ್ಲಿ ಬಳಸಲಾಗುತ್ತದೆ.

5. SentencePiece: ಮುಖ್ಯವಾಗಿ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್ ಆಧಾರಿತ ಪಠ್ಯ ಉತ್ಪಾದನಾ ವ್ಯವಸ್ಥೆಗಳಿಗೆ ಬಳಸುವ ನಿರ್ದಿಷ್ಟ ಪಠ್ಯ ಟೋಕನೈಸರ್ ಮತ್ತು ಡಿಟೋಕನೈಸರ್.

History

ಟೋಕನೈಸೇಶನ್ ನೈಸರ್ಗಿಕ ಭಾಷಾ ಪ್ರಕ್ರಿಯೆಯಲ್ಲಿ ಮೂಲಭೂತ ಪರಿಕಲ್ಪನೆಯಾಗಿದೆ. ಆದರೆ, ಆಧುನಿಕ ಭಾಷಾ ಮಾದರಿಗಳಲ್ಲಿ ಬಳಸುವ ವಿಶೇಷ ಟೋಕನೈಸೇಶನ್ ವಿಧಾನಗಳು ಬಹಳಷ್ಟು ಅಭಿವೃದ್ಧಿಯಾಗಿವೆ:

1. ಶಬ್ದ ಆಧಾರಿತ ಟೋಕನೈಸೇಶನ್: ಪ್ರಾರಂಭಿಕ NLP ವ್ಯವಸ್ಥೆಗಳು ಶ್ರೇಣಿಯಲ್ಲಿನ ಶಬ್ದ ಆಧಾರಿತ ಟೋಕನೈಸೇಶನ್ ಅನ್ನು ಬಳಸುತ್ತವೆ, ಶ್ವಾಸ ಮತ್ತು ಚಿಹ್ನೆಗಳ ಮೇಲೆ ಪಠ್ಯವನ್ನು ವಿಭಜಿಸುತ್ತವೆ.

2. ನಿಯಮ ಆಧಾರಿತ ಟೋಕನೈಸೇಶನ್: ಹೆಚ್ಚು ಸುಧಾರಿತ ವ್ಯವಸ್ಥೆಗಳು ಸಂಕೀರ್ಣ ಪ್ರಕರಣಗಳನ್ನು ನಿರ್ವಹಿಸಲು ಭಾಷಾ ನಿಯಮಗಳನ್ನು ಬಳಸುತ್ತವೆ, ಉದಾಹರಣೆಗೆ ಒಗ್ಗಟ್ಟಿನ ಶಬ್ದಗಳು ಮತ್ತು ಸಂಯುಕ್ತ ಶಬ್ದಗಳು.

3. ಸಂಖ್ಯಾತ್ಮಕ ಟೋಕನೈಸೇಶನ್: ಡೇಟಾದಿಂದ ಟೋಕನೈಸೇಶನ್ ಮಾದರಿಗಳನ್ನು ಕಲಿಯಲು ಯಾಂತ್ರಿಕ ಕಲಿಕೆ ತಂತ್ರಜ್ಞಾನಗಳನ್ನು ಪರಿಚಯಿಸಲಾಯಿತು.

4. ಉಪಶಬ್ದ ಟೋಕನೈಸೇಶನ್: NLP ಯಲ್ಲಿ ಆಳವಾದ ಕಲಿಕೆಯನ್ನು ಏರಿಸುವ ಮೂಲಕ, ಬೈಟ್ ಪೇರ್ ಎನ್‌ಕೋಡಿಂಗ್ (BPE) ಮತ್ತು WordPiece ಯಂತಹ ಉಪಶಬ್ದ ಟೋಕನೈಸೇಶನ್ ವಿಧಾನಗಳು ಜನಪ್ರಿಯವಾಗುತ್ತವೆ. ಈ ವಿಧಾನಗಳು ಔಟ್-ಆಫ್-ವೋಕ್ಯಾಬುಲರಿ ಶಬ್ದಗಳನ್ನು ನಿರ್ವಹಿಸಲು ಮತ್ತು ಬಹುಭಾಷೆಗಳಲ್ಲಿ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸಲು ಸಹಾಯ ಮಾಡುತ್ತವೆ.

5. Tiktoken ಮತ್ತು GPT ಟೋಕನೈಸೇಶನ್: OpenAI ನಿಂದ ಅಭಿವೃದ್ಧಿಪಡಿಸಲಾದ tiktoken GPT ಮಾದರಿಗಳಿಂದ ಬಳಸುವ ಟೋಕನೈಸೇಶನ್ ಅನ್ನು ಅನುಷ್ಠಾನಗೊಳಿಸುತ್ತದೆ, ಪರಿಣಾಮಕಾರಿತ್ವ ಮತ್ತು ವ್ಯಾಪಕ ಭಾಷಾ ವ್ಯಾಪ್ತಿಗೆ ಅನುಗುಣವಾಗಿ ಆಪ್ಟಿಮೈಜ್ ಮಾಡಲಾಗಿದೆ.

Examples

ಇಲ್ಲಿ ವಿಭಿನ್ನ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಭಾಷೆಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಟೋಕನ್ ಎಣಿಸುವಿಕೆ ತೋರಿಸಲು ಕೆಲವು ಕೋಡ್ ಉದಾಹರಣೆಗಳಿವೆ:

1import tiktoken
2
3def count_tokens(text, encoding_name):
4    encoding = tiktoken.get_encoding(encoding_name)
5    tokens = encoding.encode(text)
6    return len(tokens)
7
8## Example usage
9text = "Hello, world! This is a tokenization example."
10encoding_name = "cl100k_base"
11token_count = count_tokens(text, encoding_name)
12print(f"Token count: {token_count}")
13

1const { encoding_for_model } = require("tiktoken");
2
3function countTokens(text, encodingName) {
4  const enc = encoding_for_model(encodingName);
5  const tokens = enc.encode(text);
6  return tokens.length;
7}
8
9// Example usage
10const text = "Hello, world! This is a tokenization example.";
11const encodingName = "cl100k_base";
12const tokenCount = countTokens(text, encodingName);
13console.log(`Token count: ${tokenCount}`);
14

1require 'tiktoken_ruby'
2
3def count_tokens(text, encoding_name)
4  encoding = Tiktoken.encoding_for_model(encoding_name)
5  tokens = encoding.encode(text)
6  tokens.length
7end
8
9## Example usage
10text = "Hello, world! This is a tokenization example."
11encoding_name = "cl100k_base"
12token_count = count_tokens(text, encoding_name)
13puts "Token count: #{token_count}"
14

ಈ ಉದಾಹರಣೆಗಳು tiktoken ಗ್ರಂಥಾಲಯವನ್ನು (ಅಥವಾ ಇತರ ಭಾಷೆಗಳಲ್ಲಿ ಸಮಾನಾಂತರಗಳನ್ನು) ಬಳಸಿಕೊಂಡು ನೀಡಲಾದ ಪಠ್ಯದಲ್ಲಿ ನಿರ್ದಿಷ್ಟ ಎನ್‌ಕೋಡಿಂಗ್ ಬಳಸಿಕೊಂಡು ಟೋಕನ್‌ಗಳನ್ನು ಎಣಿಸುವುದನ್ನು ಹೇಗೆ ಬಳಸುವುದು ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತವೆ.

References

1. OpenAI. "Tiktoken." GitHub, https://github.com/openai/tiktoken. Accessed 2 Aug. 2024.
2. Vaswani, Ashish, et al. "Attention Is All You Need." arXiv:1706.03762 [cs], Dec. 2017, http://arxiv.org/abs/1706.03762.
3. Sennrich, Rico, et al. "Neural Machine Translation of Rare Words with Subword Units." arXiv:1508.07909 [cs], Jun. 2016, http://arxiv.org/abs/1508.07909.
4. Brown, Tom B., et al. "Language Models are Few-Shot Learners." arXiv:2005.14165 [cs], Jul. 2020, http://arxiv.org/abs/2005.14165.
5. Devlin, Jacob, et al. "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." arXiv:1810.04805 [cs], May 2019, http://arxiv.org/abs/1810.04805.