1.6 KiB
1.6 KiB
Utilities for Tokenizers
このページには、トークナイザーによって使用されるすべてのユーティリティ関数 (主にクラス) がリストされます。
[~tokenization_utils_base.PreTrainedTokenizerBase] 間の共通メソッドを実装します。
[PreTrainedTokenizer] と [PreTrainedTokenizerFast] およびミックスイン
[~tokenization_utils_base.SpecialTokensMixin]。
これらのほとんどは、ライブラリ内のトークナイザーのコードを学習する場合にのみ役に立ちます。
PreTrainedTokenizerBase
autodoc tokenization_utils_base.PreTrainedTokenizerBase - call - all
SpecialTokensMixin
autodoc tokenization_utils_base.SpecialTokensMixin
Enums and namedtuples
autodoc tokenization_utils_base.TruncationStrategy
autodoc tokenization_utils_base.CharSpan
autodoc tokenization_utils_base.TokenSpan