transformers/README_hd.md

279 lines
32 KiB
Markdown
Raw Permalink Normal View History

<!---
Copyright 2020 The HuggingFace Team. All rights reserved.
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.
-->
<!---
A useful guide for English-Hindi translation of Hugging Face documentation
- Add space around English words and numbers when they appear between Hindi characters. E.g., рдХреБрд▓ рдорд┐рд▓рд╛рдХрд░ 100 рд╕реЗ рдЕрдзрд┐рдХ рднрд╛рд╖рд╛рдПрдБ; рдЯреНрд░рд╛рдВрд╕рдлреЙрд░реНрдорд░ рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддрд╛ рд╣реИред
- рд╡рд░реНрдЧрд╛рдХрд╛рд░ рдЙрджреНрдзрд░рдгреЛрдВ рдХрд╛ рдкреНрд░рдпреЛрдЧ рдХрд░реЗрдВ, рдЬреИрд╕реЗ, "рдЙрджреНрдзрд░рдг"
Dictionary
Hugging Face: рдЧрд▓реЗ рд▓рдЧрд╛рдУ рдЪреЗрд╣рд░рд╛
token: рд╢рдмреНрдж (рдФрд░ рдореВрд▓ рдЕрдВрдЧреНрд░реЗрдЬреА рдХреЛ рдХреЛрд╖реНрдардХ рдореЗрдВ рдЪрд┐рд╣реНрдирд┐рдд рдХрд░реЗрдВя╝Й
tokenize: рдЯреЛрдХрдирдирд╛рдЗрдЬрд╝ рдХрд░реЗрдВ (рдФрд░ рдореВрд▓ рдЕрдВрдЧреНрд░реЗрдЬрд╝реА рдХреЛ рдЪрд┐рд╣реНрдирд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдХреЛрд╖реНрдардХ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВ)
tokenizer: Tokenizer (рдореВрд▓ рдЕрдВрдЧреНрд░реЗрдЬреА рдореЗрдВ рдХреЛрд╖реНрдардХ рдХреЗ рд╕рд╛рде)
transformer: transformer
pipeline: рд╕рдордиреБрдХреНрд░рдо
API: API (рдЕрдиреБрд╡рд╛рдж рдХреЗ рдмрд┐рдирд╛)
inference: рд╡рд┐рдЪрд╛рд░
Trainer: рдкреНрд░рд╢рд┐рдХреНрд╖рдХред рдХрдХреНрд╖рд╛ рдХреЗ рдирд╛рдо рдХреЗ рд░реВрдк рдореЗрдВ рдкреНрд░рд╕реНрддреБрдд рдХрд┐рдП рдЬрд╛рдиреЗ рдкрд░ рдЕрдиреБрд╡рд╛рджрд┐рдд рдирд╣реАрдВ рдХрд┐рдпрд╛ рдЧрдпрд╛ред
pretrained/pretrain: рдкреВрд░реНрд╡ рдкреНрд░рд╢рд┐рдХреНрд╖рдг
finetune: рдлрд╝рд╛рдЗрди рдЯреНрдпреВрдирд┐рдВрдЧ
community: рд╕рдореБрджрд╛рдп
example: рдЬрдм рд╡рд┐рд╢рд┐рд╖реНрдЯ рдЧреЛрджрд╛рдо example рдХреИрдЯрд▓реЙрдЧ рдХрд░рддреЗ рд╕рдордп "рдХреЗрд╕ рдХреЗрд╕" рдХреЗ рд░реВрдк рдореЗрдВ рдЕрдиреБрд╡рд╛рджрд┐рдд
Python data structures (e.g., list, set, dict): рдореВрд▓ рдЕрдВрдЧреНрд░реЗрдЬреА рдХреЛ рдЪрд┐рд╣реНрдирд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рд╕реВрдЪрд┐рдпреЛрдВ, рд╕реЗрдЯреЛрдВ, рд╢рдмреНрджрдХреЛрд╢реЛрдВ рдореЗрдВ рдЕрдиреБрд╡рд╛рдж рдХрд░реЗрдВ рдФрд░ рдХреЛрд╖реНрдардХ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВ
NLP/Natural Language Processing: рджреНрд╡рд╛рд░рд╛ NLP рдЕрдиреБрд╡рд╛рдж рдХреЗ рдмрд┐рдирд╛ рдкреНрд░рдХрдЯ рд╣реЛрддреЗ рд╣реИрдВ Natural Language Processing рдкреНрд░рд╕реНрддреБрдд рдХрд┐рдП рдЬрд╛рдиреЗ рдкрд░ рдкреНрд░рд╛рдХреГрддрд┐рдХ рднрд╛рд╖рд╛ рд╕рдВрд╕рд╛рдзрди рдореЗрдВ рдЕрдиреБрд╡рд╛рдж рдХрд░реЗрдВ
checkpoint: рдЬрд╛рдБрдЪ рдмрд┐рдВрджреБ
-->
<p align="center">
<br>
<img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers_logo_name.png" width="400"/>
<br>
2023-09-23 02:39:28 +08:00
</p>
<p align="center">
<a href="https://circleci.com/gh/huggingface/transformers">
<img alt="Build" src="https://img.shields.io/circleci/build/github/huggingface/transformers/main">
</a>
<a href="https://github.com/huggingface/transformers/blob/main/LICENSE">
<img alt="GitHub" src="https://img.shields.io/github/license/huggingface/transformers.svg?color=blue">
</a>
<a href="https://huggingface.co/docs/transformers/index">
<img alt="Documentation" src="https://img.shields.io/website/http/huggingface.co/docs/transformers/index.svg?down_color=red&down_message=offline&up_message=online">
</a>
<a href="https://github.com/huggingface/transformers/releases">
<img alt="GitHub release" src="https://img.shields.io/github/release/huggingface/transformers.svg">
</a>
<a href="https://github.com/huggingface/transformers/blob/main/CODE_OF_CONDUCT.md">
<img alt="Contributor Covenant" src="https://img.shields.io/badge/Contributor%20Covenant-v2.0%20adopted-ff69b4.svg">
</a>
<a href="https://zenodo.org/badge/latestdoi/155220641"><img src="https://zenodo.org/badge/155220641.svg" alt="DOI"></a>
</p>
<h4 align="center">
<p>
<a href="https://github.com/huggingface/transformers/">English</a> |
<a href="https://github.com/huggingface/transformers/blob/main/README_zh-hans.md">чоАф╜Уф╕нцЦЗ</a> |
<a href="https://github.com/huggingface/transformers/blob/main/README_zh-hant.md">ч╣БщлФф╕нцЦЗ</a> |
<a href="https://github.com/huggingface/transformers/blob/main/README_ko.md">эХЬъ╡ньЦ┤</a> |
<a href="https://github.com/huggingface/transformers/blob/main/README_es.md">Espa├▒ol</a> |
<a href="https://github.com/huggingface/transformers/blob/main/README_ja.md">цЧецЬмшкЮ</a> |
<b>рд╣рд┐рдиреНрджреА</b> |
<a href="https://github.com/huggingface/transformers/blob/main/README_ru.md">╨а╤Г╤Б╤Б╨║╨╕╨╣</a> |
<a href="https://github.com/huggingface/transformers/blob/main/README_pt-br.md">╨аortugu├кs</a> |
<a href="https://github.com/huggingface/transformers/blob/main/README_te.md">р░др▒Жр░▓р▒Бр░Чр▒Б</a> |
<a href="https://github.com/huggingface/transformers/blob/main/README_fr.md">Fran├зais</a> |
<a href="https://github.com/huggingface/transformers/blob/main/README_de.md">Deutsch</a> |
<a href="https://github.com/huggingface/transformers/blob/main/README_vi.md">Tiс║┐ng Viс╗Зt</a> |
2023-09-23 02:39:28 +08:00
</p>
</h4>
<h3 align="center">
<p>Jax, PyTorch рдФрд░ TensorFlow рдХреЗ рд▓рд┐рдП рдЙрдиреНрдирдд рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ</p>
</h3>
<h3 align="center">
<a href="https://hf.co/course"><img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/course_banner.png"></a>
</h3>
ЁЯдЧ Transformers 100 рд╕реЗ рдЕрдзрд┐рдХ рднрд╛рд╖рд╛рдУрдВ рдореЗрдВ рдкрд╛рда рд╡рд░реНрдЧреАрдХрд░рдг, рд╕реВрдЪрдирд╛ рдирд┐рд╖реНрдХрд░реНрд╖рдг, рдкреНрд░рд╢реНрди рдЙрддреНрддрд░, рд╕рд╛рд░рд╛рдВрд╢реАрдХрд░рдг, рдЕрдиреБрд╡рд╛рдж, рдкрд╛рда рдирд┐рд░реНрдорд╛рдг рдХрд╛ рд╕рдорд░реНрдерди рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рд╣рдЬрд╛рд░реЛрдВ рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдореЙрдбрд▓ рдкреНрд░рджрд╛рди рдХрд░рддрд╛ рд╣реИред рдЗрд╕рдХрд╛ рдЙрджреНрджреЗрд╢реНрдп рд╕рдмрд╕реЗ рдЙрдиреНрдирдд рдПрдирдПрд▓рдкреА рддрдХрдиреАрдХ рдХреЛ рд╕рднреА рдХреЗ рд▓рд┐рдП рд╕реБрд▓рдн рдмрдирд╛рдирд╛ рд╣реИред
ЁЯдЧ Transformers рддреНрд╡рд░рд┐рдд рдбрд╛рдЙрдирд▓реЛрдб рдФрд░ рдЙрдкрдпреЛрдЧ рдХреЗ рд▓рд┐рдП рдПрдХ рдПрдкреАрдЖрдИ рдкреНрд░рджрд╛рди рдХрд░рддрд╛ рд╣реИ, рдЬрд┐рд╕рд╕реЗ рдЖрдк рдХрд┐рд╕реА рджрд┐рдП рдЧрдП рдкрд╛рда рдкрд░ рдПрдХ рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдореЙрдбрд▓ рд▓реЗ рд╕рдХрддреЗ рд╣реИрдВ, рдЗрд╕реЗ рдЕрдкрдиреЗ рдбреЗрдЯрд╛рд╕реЗрдЯ рдкрд░ рдареАрдХ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ рдФрд░ рдЗрд╕реЗ [рдореЙрдбрд▓ рд╣рдм](https://huggingface.co/models) рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗ рд╕рдореБрджрд╛рдп рдХреЗ рд╕рд╛рде рд╕рд╛рдЭрд╛ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВред рдЗрд╕реА рд╕рдордп, рдкреНрд░рддреНрдпреЗрдХ рдкрд░рд┐рднрд╛рд╖рд┐рдд рдкрд╛рдпрдерди рдореЙрдбреНрдпреВрд▓ рдкреВрд░реА рддрд░рд╣ рд╕реЗ рд╕реНрд╡рддрдВрддреНрд░ рд╣реИ, рдЬреЛ рд╕рдВрд╢реЛрдзрди рдФрд░ рддреЗрдЬреА рд╕реЗ рдЕрдиреБрд╕рдВрдзрд╛рди рдкреНрд░рдпреЛрдЧреЛрдВ рдХреЗ рд▓рд┐рдП рд╕реБрд╡рд┐рдзрд╛рдЬрдирдХ рд╣реИред
ЁЯдЧ Transformers рддреАрди рд╕рдмрд╕реЗ рд▓реЛрдХрдкреНрд░рд┐рдп рдЧрд╣рди рд╢рд┐рдХреНрд╖рдг рдкреБрд╕реНрддрдХрд╛рд▓рдпреЛрдВ рдХрд╛ рд╕рдорд░реНрдерди рдХрд░рддрд╛ рд╣реИя╝Ъ [Jax](https://jax.readthedocs.io/en/latest/), [PyTorch](https://pytorch.org/) and [TensorFlow](https://www.tensorflow.org/) тАФ рдФрд░ рдЗрд╕рдХреЗ рд╕рд╛рде рдирд┐рд░реНрдмрд╛рдз рд░реВрдк рд╕реЗ рдПрдХреАрдХреГрдд рд╣реЛрддрд╛ рд╣реИред рдЖрдк рдЕрдкрдиреЗ рдореЙрдбрд▓ рдХреЛ рд╕реАрдзреЗ рдПрдХ рдврд╛рдВрдЪреЗ рдХреЗ рд╕рд╛рде рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ рдФрд░ рджреВрд╕рд░реЗ рдХреЗ рд╕рд╛рде рд▓реЛрдб рдФрд░ рдЕрдиреБрдорд╛рди рд▓рдЧрд╛ рд╕рдХрддреЗ рд╣реИрдВред
## рдСрдирд▓рд╛рдЗрди рдбреЗрдореЛ
рдЖрдк рд╕рдмрд╕реЗ рд╕реАрдзреЗ рдореЙрдбрд▓ рдкреГрд╖реНрда рдкрд░ рдкрд░реАрдХреНрд╖рдг рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ [model hub](https://huggingface.co/models) рдореЙрдбрд▓ рдкрд░ред рд╣рдо [рдирд┐рдЬреА рдореЙрдбрд▓ рд╣реЛрд╕реНрдЯрд┐рдВрдЧ, рдореЙрдбрд▓ рд╕рдВрд╕реНрдХрд░рдг, рдФрд░ рдЕрдиреБрдорд╛рди рдПрдкреАрдЖрдИ](https://huggingface.co/pricing) рднреА рдкреНрд░рджрд╛рди рдХрд░рддреЗ рд╣реИрдВредуАВ
рдпрд╣рд╛рдБ рдХреБрдЫ рдЙрджрд╛рд╣рд░рдг рд╣реИрдВя╝Ъ
- [рд╢рдмреНрдж рдХреЛ рднрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдорд╛рд╕реНрдХ рдХреЗ рд░реВрдк рдореЗрдВ BERT рдХрд╛ рдкреНрд░рдпреЛрдЧ рдХрд░реЗрдВ](https://huggingface.co/google-bert/bert-base-uncased?text=Paris+is+the+%5BMASK%5D+of+France)
- [рдЗрд▓реЗрдХреНрдЯреНрд░рд╛ рдХреЗ рд╕рд╛рде рдирд╛рдорд┐рдд рдЗрдХрд╛рдИ рдкрд╣рдЪрд╛рди](https://huggingface.co/dbmdz/electra-large-discriminator-finetuned-conll03-english?text=My+name+is+Sarah+and+I+live+in+London+city)
- [рдЬреАрдкреАрдЯреА-2 рдХреЗ рд╕рд╛рде рдЯреЗрдХреНрд╕реНрдЯ рдЬрдирд░реЗрд╢рди](https://huggingface.co/openai-community/gpt2?text=A+long+time+ago%2C+)
- [рд░реЙрдмрд░реНрдЯрд╛ рдХреЗ рд╕рд╛рде рдкреНрд░рд╛рдХреГрддрд┐рдХ рднрд╛рд╖рд╛ рдирд┐рд╖реНрдХрд░реНрд╖](https://huggingface.co/FacebookAI/roberta-large-mnli?text=The+dog+was+lost.+Nobody+lost+any+animal)
- [рдмрд╛рд░реНрдЯ рдХреЗ рд╕рд╛рде рдкрд╛рда рд╕рд╛рд░рд╛рдВрд╢](https://huggingface.co/facebook/bart-large-cnn?text=The+tower+is+324+metres+%281%2C063+ft%29+tall%2C+about+the+same+height+as+an+81-storey+building%2C+and+the+tallest+structure+in+Paris.+Its+base+is+square%2C+measuring+125+metres+%28410+ft%29+on+each+side.+During+its+construction%2C+the+Eiffel+Tower+surpassed+the+Washington+Monument+to+become+the+tallest+man-made+structure+in+the+world%2C+a+title+it+held+for+41+years+until+the+Chrysler+Building+in+New+York+City+was+finished+in+1930.+It+was+the+first+structure+to+reach+a+height+of+300+metres.+Due+to+the+addition+of+a+broadcasting+aerial+at+the+top+of+the+tower+in+1957%2C+it+is+now+taller+than+the+Chrysler+Building+by+5.2+metres+%2817+ft%29.+Excluding+transmitters%2C+the+Eiffel+Tower+is+the+second+tallest+free-standing+structure+in+France+after+the+Millau+Viaduct)
- [рдбрд┐рд╕реНрдЯрд┐рд▓рдмрд░реНрдЯ рдХреЗ рд╕рд╛рде рдкреНрд░рд╢реНрдиреЛрддреНрддрд░](https://huggingface.co/distilbert/distilbert-base-uncased-distilled-squad?text=Which+name+is+also+used+to+describe+the+Amazon+rainforest+in+English%3F&context=The+Amazon+rainforest+%28Portuguese%3A+Floresta+Amaz%C3%B4nica+or+Amaz%C3%B4nia%3B+Spanish%3A+Selva+Amaz%C3%B3nica%2C+Amazon%C3%ADa+or+usually+Amazonia%3B+French%3A+For%C3%AAt+amazonienne%3B+Dutch%3A+Amazoneregenwoud%29%2C+also+known+in+English+as+Amazonia+or+the+Amazon+Jungle%2C+is+a+moist+broadleaf+forest+that+covers+most+of+the+Amazon+basin+of+South+America.+This+basin+encompasses+7%2C000%2C000+square+kilometres+%282%2C700%2C000+sq+mi%29%2C+of+which+5%2C500%2C000+square+kilometres+%282%2C100%2C000+sq+mi%29+are+covered+by+the+rainforest.+This+region+includes+territory+belonging+to+nine+nations.+The+majority+of+the+forest+is+contained+within+Brazil%2C+with+60%25+of+the+rainforest%2C+followed+by+Peru+with+13%25%2C+Colombia+with+10%25%2C+and+with+minor+amounts+in+Venezuela%2C+Ecuador%2C+Bolivia%2C+Guyana%2C+Suriname+and+French+Guiana.+States+or+departments+in+four+nations+contain+%22Amazonas%22+in+their+names.+The+Amazon+represents+over+half+of+the+planet%27s+remaining+rainforests%2C+and+comprises+the+largest+and+most+biodiverse+tract+of+tropical+rainforest+in+the+world%2C+with+an+estimated+390+billion+individual+trees+divided+into+16%2C000+species)
- [рдЕрдиреБрд╡рд╛рдж рдХреЗ рд▓рд┐рдП T5 рдХрд╛ рдкреНрд░рдпреЛрдЧ рдХрд░реЗрдВ](https://huggingface.co/google-t5/t5-base?text=My+name+is+Wolfgang+and+I+live+in+Berlin)
**[Write With Transformer](https://transformer.huggingface.co)**я╝Мрд╣рдЧрд┐рдВрдЧ рдлреЗрд╕ рдЯреАрдо рджреНрд╡рд╛рд░рд╛ рдмрдирд╛рдпрд╛ рдЧрдпрд╛, рдпрд╣ рдПрдХ рдЖрдзрд┐рдХрд╛рд░рд┐рдХ рдкрд╛рда рдкреАрдврд╝реА рд╣реИ demoуАВ
## рдпрджрд┐ рдЖрдк рд╣рдЧрд┐рдВрдЧ рдлреЗрд╕ рдЯреАрдо рд╕реЗ рдмреАрд╕реНрдкреЛрдХ рд╕рдорд░реНрдерди рдХреА рддрд▓рд╛рд╢ рдХрд░ рд░рд╣реЗ рд╣реИрдВ
<a target="_blank" href="https://huggingface.co/support">
<img alt="HuggingFace Expert Acceleration Program" src="https://huggingface.co/front/thumbnails/support.png" style="max-width: 600px; border: 1px solid #eee; border-radius: 4px; box-shadow: 0 1px 2px 0 rgba(0, 0, 0, 0.05);">
</a><br>
## рдЬрд▓реНрджреА рд╢реБрд░реВ рдХрд░реЗрдВ
рд╣рдо рддреНрд╡рд░рд┐рдд рдЙрдкрдпреЛрдЧ рдХреЗ рд▓рд┐рдП рдореЙрдбрд▓ рдкреНрд░рджрд╛рди рдХрд░рддреЗ рд╣реИрдВ `pipeline` (рдкрд╛рдЗрдкрд▓рд╛рдЗрди) рдПрдкреАрдЖрдИред рдкрд╛рдЗрдкрд▓рд╛рдЗрди рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдореЙрдбрд▓ рдФрд░ рд╕рдВрдмрдВрдзрд┐рдд рдкрд╛рда рдкреНрд░реАрдкреНрд░реЛрд╕реЗрд╕рд┐рдВрдЧ рдХреЛ рдПрдХрддреНрд░рд┐рдд рдХрд░рддреА рд╣реИред рд╕рдХрд╛рд░рд╛рддреНрдордХ рдФрд░ рдирдХрд╛рд░рд╛рддреНрдордХ рднрд╛рд╡рдирд╛ рдХреЛ рдирд┐рд░реНрдзрд╛рд░рд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдкрд╛рдЗрдкрд▓рд╛рдЗрдиреЛрдВ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдХрд╛ рдПрдХ рддреНрд╡рд░рд┐рдд рдЙрджрд╛рд╣рд░рдг рдпрд╣рд╛рдВ рджрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИ:
```python
>>> from transformers import pipeline
# рднрд╛рд╡рдирд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдкрд╛рдЗрдкрд▓рд╛рдЗрди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛
>>> classifier = pipeline('sentiment-analysis')
>>> classifier('We are very happy to introduce pipeline to the transformers repository.')
[{'label': 'POSITIVE', 'score': 0.9996980428695679}]
```
рдХреЛрдб рдХреА рджреВрд╕рд░реА рдкрдВрдХреНрддрд┐ рдкрд╛рдЗрдкрд▓рд╛рдЗрди рджреНрд╡рд╛рд░рд╛ рдЙрдкрдпреЛрдЧ рдХрд┐рдП рдЧрдП рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдореЙрдбрд▓ рдХреЛ рдбрд╛рдЙрдирд▓реЛрдб рдФрд░ рдХреИрд╢ рдХрд░рддреА рд╣реИ, рдЬрдмрдХрд┐ рдХреЛрдб рдХреА рддреАрд╕рд░реА рдкрдВрдХреНрддрд┐ рджрд┐рдП рдЧрдП рдкрд╛рда рдкрд░ рдореВрд▓реНрдпрд╛рдВрдХрди рдХрд░рддреА рд╣реИред рдпрд╣рд╛рдВ рдЙрддреНрддрд░ 99 рдЖрддреНрдорд╡рд┐рд╢реНрд╡рд╛рд╕ рдХреЗ рд╕реНрддрд░ рдХреЗ рд╕рд╛рде "рд╕рдХрд╛рд░рд╛рддреНрдордХ" рд╣реИред
рдХрдИ рдПрдирдПрд▓рдкреА рдХрд╛рд░реНрдпреЛрдВ рдореЗрдВ рдЖрдЙрдЯ рдСреЮ рдж рдмреЙрдХреНрд╕ рдкрд╛рдЗрдкрд▓рд╛рдЗрдиреЛрдВ рдХрд╛ рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рдг рд╣реЛрддрд╛ рд╣реИред рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, рд╣рдо рдХрд┐рд╕реА рджрд┐рдП рдЧрдП рдкрд╛рда рд╕реЗ рдХрд┐рд╕реА рдкреНрд░рд╢реНрди рдХрд╛ рдЙрддреНрддрд░ рдЖрд╕рд╛рдиреА рд╕реЗ рдирд┐рдХрд╛рд▓ рд╕рдХрддреЗ рд╣реИрдВ:
``` python
>>> from transformers import pipeline
# рдкреНрд░рд╢реНрдиреЛрддреНрддрд░ рдкрд╛рдЗрдкрд▓рд╛рдЗрди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛
>>> question_answerer = pipeline('question-answering')
>>> question_answerer({
... 'question': 'What is the name of the repository ?',
... 'context': 'Pipeline has been included in the huggingface/transformers repository'
... })
{'score': 0.30970096588134766, 'start': 34, 'end': 58, 'answer': 'huggingface/transformers'}
```
рдЙрддреНрддрд░ рджреЗрдиреЗ рдХреЗ рдЕрд▓рд╛рд╡рд╛, рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдореЙрдбрд▓ рд╕рдВрдЧрдд рдЖрддреНрдорд╡рд┐рд╢реНрд╡рд╛рд╕ рд╕реНрдХреЛрд░ рднреА рджреЗрддрд╛ рд╣реИ, рдЬрд╣рд╛рдВ рдЙрддреНрддрд░ рдЯреЛрдХрдирдпреБрдХреНрдд рдкрд╛рда рдореЗрдВ рд╢реБрд░реВ рдФрд░ рд╕рдорд╛рдкреНрдд рд╣реЛрддрд╛ рд╣реИред рдЖрдк [рдЗрд╕ рдЯреНрдпреВрдЯреЛрд░рд┐рдпрд▓](https://huggingface.co/docs/transformers/task_summary) рд╕реЗ рдкрд╛рдЗрдкрд▓рд╛рдЗрди рдПрдкреАрдЖрдИ рджреНрд╡рд╛рд░рд╛ рд╕рдорд░реНрдерд┐рдд рдХрд╛рд░реНрдпреЛрдВ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдЕрдзрд┐рдХ рдЬрд╛рди рд╕рдХрддреЗ рд╣реИрдВред
рдЕрдкрдиреЗ рдХрд╛рд░реНрдп рдкрд░ рдХрд┐рд╕реА рднреА рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдореЙрдбрд▓ рдХреЛ рдбрд╛рдЙрдирд▓реЛрдб рдХрд░рдирд╛ рдФрд░ рдЙрд╕рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛ рднреА рдХреЛрдб рдХреА рддреАрди рдкрдВрдХреНрддрд┐рдпреЛрдВ рдХреА рддрд░рд╣ рд╕рд░рд▓ рд╣реИред рдпрд╣рд╛рдБ PyTorch рд╕рдВрд╕реНрдХрд░рдг рдХреЗ рд▓рд┐рдП рдПрдХ рдЙрджрд╛рд╣рд░рдг рджрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИ:
```python
>>> from transformers import AutoTokenizer, AutoModel
>>> tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-uncased")
>>> model = AutoModel.from_pretrained("google-bert/bert-base-uncased")
>>> inputs = tokenizer("Hello world!", return_tensors="pt")
>>> outputs = model(**inputs)
```
рдпрд╣рд╛рдБ рд╕рдордХрдХреНрд╖ рд╣реИ TensorFlow рдХреЛрдб:
```python
>>> from transformers import AutoTokenizer, TFAutoModel
>>> tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-uncased")
>>> model = TFAutoModel.from_pretrained("google-bert/bert-base-uncased")
>>> inputs = tokenizer("Hello world!", return_tensors="tf")
>>> outputs = model(**inputs)
```
рдЯреЛрдХрдирдирд╛рдЗрдЬрд╝рд░ рд╕рднреА рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдореЙрдбрд▓реЛрдВ рдХреЗ рд▓рд┐рдП рдкреНрд░реАрдкреНрд░реЛрд╕реЗрд╕рд┐рдВрдЧ рдкреНрд░рджрд╛рди рдХрд░рддрд╛ рд╣реИ рдФрд░ рдЗрд╕реЗ рд╕реАрдзреЗ рдПрдХ рд╕реНрдЯреНрд░рд┐рдВрдЧ (рдЬреИрд╕реЗ рдКрдкрд░ рджрд┐рдП рдЧрдП рдЙрджрд╛рд╣рд░рдг) рдпрд╛ рдХрд┐рд╕реА рд╕реВрдЪреА рдкрд░ рдмреБрд▓рд╛рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИред рдпрд╣ рдПрдХ рдбрд┐рдХреНрд╢рдирд░реА (рддрд╛рдирд╛рд╢рд╛рд╣реА) рдХреЛ рдЖрдЙрдЯрдкреБрдЯ рдХрд░рддрд╛ рд╣реИ рдЬрд┐рд╕реЗ рдЖрдк рдбрд╛рдЙрдирд╕реНрдЯреНрд░реАрдо рдХреЛрдб рдореЗрдВ рдЙрдкрдпреЛрдЧ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ рдпрд╛ `**` рдЕрдирдкреИрдХрд┐рдВрдЧ рдПрдХреНрд╕рдкреНрд░реЗрд╢рди рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗ рд╕реАрдзреЗ рдореЙрдбрд▓ рдХреЛ рдкрд╛рд╕ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВред
рдореЙрдбрд▓ рд╕реНрд╡рдпрдВ рдПрдХ рдирд┐рдпрдорд┐рдд [Pytorch `nn.Module`](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) рдпрд╛ [TensorFlow `tf.keras.Model`](https://www.tensorflow.org/api_docs/python/tf/keras/Model) (рдЖрдкрдХреЗ рдмреИрдХрдПрдВрдб рдХреЗ рдЖрдзрд╛рд░ рдкрд░), рдЬреЛ рд╣реЛ рд╕рдХрддрд╛ рд╣реИ рд╕рд╛рдорд╛рдиреНрдп рддрд░реАрдХреЗ рд╕реЗ рдЙрдкрдпреЛрдЧ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред [рдпрд╣ рдЯреНрдпреВрдЯреЛрд░рд┐рдпрд▓](https://huggingface.co/transformers/training.html) рдмрддрд╛рддрд╛ рд╣реИ рдХрд┐ рдЗрд╕ рддрд░рд╣ рдХреЗ рдореЙрдбрд▓ рдХреЛ рдХреНрд▓рд╛рд╕рд┐рдХ PyTorch рдпрд╛ TensorFlow рдкреНрд░рд╢рд┐рдХреНрд╖рдг рд▓реВрдк рдореЗрдВ рдХреИрд╕реЗ рдПрдХреАрдХреГрдд рдХрд┐рдпрд╛ рдЬрд╛рдП, рдпрд╛ рд╣рдорд╛рд░реЗ `рдЯреНрд░реЗрдирд░` рдПрдкреАрдЖрдИ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХреИрд╕реЗ рдХрд░реЗрдВ рддрд╛рдХрд┐ рдЗрд╕реЗ рдЬрд▓реНрджреА рд╕реЗ рдлрд╝рд╛рдЗрди рдЯреНрдпреВрди рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХреЗредрдПрдХ рдирдпрд╛ рдбреЗрдЯрд╛рд╕реЗрдЯ рдкреЗред
## рдЯреНрд░рд╛рдВрд╕рдлрд╛рд░реНрдорд░ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХреНрдпреЛрдВ рдХрд░реЗрдВ?
1. рдЙрдкрдпреЛрдЧ рдореЗрдВ рдЖрд╕рд╛рдиреА рдХреЗ рд▓рд┐рдП рдЙрдиреНрдирдд рдореЙрдбрд▓:
- рдПрдирдПрд▓рдпреВ рдФрд░ рдПрдирдПрд▓рдЬреА рдкрд░ рдмреЗрд╣рддрд░ рдкреНрд░рджрд░реНрд╢рди
- рдкреНрд░рд╡реЗрд╢ рдХреЗ рд▓рд┐рдП рдХрдо рдмрд╛рдзрд╛рдУрдВ рдХреЗ рд╕рд╛рде рд╢рд┐рдХреНрд╖рдг рдФрд░ рдЕрднреНрдпрд╛рд╕ рдХреЗ рдЕрдиреБрдХреВрд▓
- рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛-рд╕рд╛рдордирд╛ рдХрд░рдиреЗ рд╡рд╛рд▓реЗ рд╕рд╛рд░ рддрддреНрд╡, рдХреЗрд╡рд▓ рддреАрди рд╡рд░реНрдЧреЛрдВ рдХреЛ рдЬрд╛рдирдиреЗ рдХреА рдЬрд░реВрд░рдд рд╣реИ
- рд╕рднреА рдореЙрдбрд▓реЛрдВ рдХреЗ рд▓рд┐рдП рдПрдХреАрдХреГрдд рдПрдкреАрдЖрдИ
1. рдХрдо рдХрдореНрдкреНрдпреВрдЯреЗрд╢рдирд▓ рдУрд╡рд░рд╣реЗрдб рдФрд░ рдХрдо рдХрд╛рд░реНрдмрди рдЙрддреНрд╕рд░реНрдЬрди:
- рд╢реЛрдзрдХрд░реНрддрд╛ рд╣рд░ рдмрд╛рд░ рдирдП рд╕рд┐рд░реЗ рд╕реЗ рдкреНрд░рд╢рд┐рдХреНрд╖рдг рджреЗрдиреЗ рдХреЗ рдмрдЬрд╛рдп рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдореЙрдбрд▓ рд╕рд╛рдЭрд╛ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ
- рдЗрдВрдЬреАрдирд┐рдпрд░ рдЧрдгрдирд╛ рд╕рдордп рдФрд░ рдЙрддреНрдкрд╛рджрди рдУрд╡рд░рд╣реЗрдб рдХреЛ рдХрдо рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ
- рджрд░реНрдЬрдиреЛрдВ рдореЙрдбрд▓ рдЖрд░реНрдХрд┐рдЯреЗрдХреНрдЪрд░, 2,000 рд╕реЗ рдЕрдзрд┐рдХ рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдореЙрдбрд▓, 100 рд╕реЗ рдЕрдзрд┐рдХ рднрд╛рд╖рд╛рдУрдВ рдХрд╛ рд╕рдорд░реНрдерди
1.рдореЙрдбрд▓ рдЬреАрд╡рдирдЪрдХреНрд░ рдХреЗ рд╣рд░ рд╣рд┐рд╕реНрд╕реЗ рдХреЛ рд╢рд╛рдорд┐рд▓ рдХрд░рддрд╛ рд╣реИ:
- рдХреЛрдб рдХреА рдХреЗрд╡рд▓ 3 рдкрдВрдХреНрддрд┐рдпреЛрдВ рдореЗрдВ рдЙрдиреНрдирдд рдореЙрдбрд▓реЛрдВ рдХреЛ рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдХрд░реЗрдВ
- рдореЙрдбрд▓ рдХреЛ рдордирдорд╛рдиреЗ рдврдВрдЧ рд╕реЗ рд╡рд┐рднрд┐рдиреНрди рдбреАрдк рд▓рд░реНрдирд┐рдВрдЧ рдлреНрд░реЗрдорд╡рд░реНрдХ рдХреЗ рдмреАрдЪ рд╕реНрдерд╛рдирд╛рдВрддрд░рд┐рдд рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ, рдЬреИрд╕рд╛ рдЖрдк рдЪрд╛рд╣рддреЗ рд╣реИрдВ
- рдирд┐рд░реНрдмрд╛рдз рд░реВрдк рд╕реЗ рдкреНрд░рд╢рд┐рдХреНрд╖рдг, рдореВрд▓реНрдпрд╛рдВрдХрди рдФрд░ рдЙрддреНрдкрд╛рджрди рдХреЗ рд▓рд┐рдП рд╕рдмрд╕реЗ рдЙрдкрдпреБрдХреНрдд рдврд╛рдВрдЪрд╛ рдЪреБрдиреЗрдВ
1. рдЖрд╕рд╛рдиреА рд╕реЗ рдЕрдирдиреНрдп рдореЙрдбрд▓ рдХреЛ рдЕрдиреБрдХреВрд▓рд┐рдд рдХрд░реЗрдВ рдФрд░ рдЕрдкрдиреА рдЖрд╡рд╢реНрдпрдХрддрд╛рдУрдВ рдХреЗ рд▓рд┐рдП рдорд╛рдорд▓реЛрдВ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВ:
- рд╣рдо рдореВрд▓ рдкреЗрдкрд░ рдкрд░рд┐рдгрд╛рдореЛрдВ рдХреЛ рдкреБрди: рдкреЗрд╢ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдкреНрд░рддреНрдпреЗрдХ рдореЙрдбрд▓ рдЖрд░реНрдХрд┐рдЯреЗрдХреНрдЪрд░ рдХреЗ рд▓рд┐рдП рдХрдИ рдЙрдкрдпреЛрдЧ рдХреЗ рдорд╛рдорд▓реЗ рдкреНрд░рджрд╛рди рдХрд░рддреЗ рд╣реИрдВ
- рдореЙрдбрд▓ рдХреА рдЖрдВрддрд░рд┐рдХ рд╕рдВрд░рдЪрдирд╛ рдкрд╛рд░рджрд░реНрд╢реА рдФрд░ рд╕реБрд╕рдВрдЧрдд рд░рд╣рддреА рд╣реИ
- рдореЙрдбрд▓ рдлрд╝рд╛рдЗрд▓ рдХреЛ рдЕрд▓рдЧ рд╕реЗ рдЗрд╕реНрддреЗрдорд╛рд▓ рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ, рдЬреЛ рд╕рдВрд╢реЛрдзрди рдФрд░ рддреНрд╡рд░рд┐рдд рдкреНрд░рдпреЛрдЧ рдХреЗ рд▓рд┐рдП рд╕реБрд╡рд┐рдзрд╛рдЬрдирдХ рд╣реИ
## рдореБрдЭреЗ рдЯреНрд░рд╛рдВрд╕рдлреЙрд░реНрдорд░ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрдм рдирд╣реАрдВ рдХрд░рдирд╛ рдЪрд╛рд╣рд┐рдП?
- рдпрд╣ рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдореЙрдбреНрдпреВрд▓рд░ рдиреНрдпреВрд░рд▓ рдиреЗрдЯрд╡рд░реНрдХ рдЯреВрд▓рдмреЙрдХреНрд╕ рдирд╣реАрдВ рд╣реИред рдореЙрдбрд▓ рдлрд╝рд╛рдЗрд▓ рдореЗрдВ рдХреЛрдб рдЬрд╛рдирдмреВрдЭрдХрд░ рдЕрд▓реНрдкрд╡рд┐рдХрд╕рд┐рдд рд╣реИ, рдмрд┐рдирд╛ рдЕрддрд┐рд░рд┐рдХреНрдд рд╕рд╛рд░ рдЗрдирдХреИрдкреНрд╕реБрд▓реЗрд╢рди рдХреЗ, рддрд╛рдХрд┐ рд╢реЛрдзрдХрд░реНрддрд╛ рдЕрдореВрд░реНрддрддрд╛ рдФрд░ рдлрд╝рд╛рдЗрд▓ рдЬрдВрдкрд┐рдВрдЧ рдореЗрдВ рд╢рд╛рдорд┐рд▓ рд╣реБрдП рдЬрд▓реНрджреА рд╕реЗ рдкреБрдирд░рд╛рд╡реГрддрд┐ рдХрд░ рд╕рдХреЗрдВред
- `рдЯреНрд░реЗрдирд░` рдПрдкреАрдЖрдИ рдХрд┐рд╕реА рднреА рдореЙрдбрд▓ рдХреЗ рд╕рд╛рде рд╕рдВрдЧрдд рдирд╣реАрдВ рд╣реИ, рдпрд╣ рдХреЗрд╡рд▓ рдЗрд╕ рдкреБрд╕реНрддрдХрд╛рд▓рдп рдХреЗ рдореЙрдбрд▓ рдХреЗ рд▓рд┐рдП рдЕрдиреБрдХреВрд▓рд┐рдд рд╣реИред рдпрджрд┐ рдЖрдк рд╕рд╛рдорд╛рдиреНрдп рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреБрдХреНрдд рдкреНрд░рд╢рд┐рдХреНрд╖рдг рд▓реВрдк рдХрд╛рд░реНрдпрд╛рдиреНрд╡рдпрди рдХреА рддрд▓рд╛рд╢ рдореЗрдВ рд╣реИрдВ, рддреЛ рдХрд╣реАрдВ рдФрд░ рджреЗрдЦреЗрдВред
- рд╣рдорд╛рд░реЗ рд╕рд░реНрд╡реЛрддреНрддрдо рдкреНрд░рдпрд╛рд╕реЛрдВ рдХреЗ рдмрд╛рд╡рдЬреВрдж, [рдЙрджрд╛рд╣рд░рдг рдирд┐рд░реНрджреЗрд╢рд┐рдХрд╛](https://github.com/huggingface/transformers/tree/main/examples) рдореЗрдВ рд╕реНрдХреНрд░рд┐рдкреНрдЯ рдХреЗрд╡рд▓ рдЙрдкрдпреЛрдЧ рдХреЗ рдорд╛рдорд▓реЗ рд╣реИрдВред рдЖрдкрдХреА рд╡рд┐рд╢рд┐рд╖реНрдЯ рд╕рдорд╕реНрдпрд╛ рдХреЗ рд▓рд┐рдП, рд╡реЗ рдЬрд░реВрд░реА рдирд╣реАрдВ рдХрд┐ рдмреЙрдХреНрд╕ рд╕реЗ рдмрд╛рд╣рд░ рдХрд╛рдо рдХрд░реЗрдВ, рдФрд░ рдЖрдкрдХреЛ рдХреЛрдб рдХреА рдХреБрдЫ рдкрдВрдХреНрддрд┐рдпреЛрдВ рдХреЛ рд╕реВрдЯ рдХрд░рдиреЗ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реЛ рд╕рдХрддреА рд╣реИред
## рд╕реНрдерд╛рдкрд┐рдд рдХрд░рдирд╛
### рдкрд┐рдк рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛
рдЗрд╕ рд░рд┐рдкреЙрдЬрд┐рдЯрд░реА рдХрд╛ рдкрд░реАрдХреНрд╖рдг Python 3.8+, Flax 0.4.1+, PyTorch 1.11+ рдФрд░ TensorFlow 2.6+ рдХреЗ рддрд╣рдд рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИред
рдЖрдк [рд╡рд░реНрдЪреБрдЕрд▓ рдПрдирд╡рд╛рдпрд░рдирдореЗрдВрдЯ](https://docs.python.org/3/library/venv.html) рдореЗрдВ ЁЯдЧ рдЯреНрд░рд╛рдВрд╕рдлреЙрд░реНрдорд░ рдЗрдВрд╕реНрдЯреЙрд▓ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВред рдпрджрд┐ рдЖрдк рдЕрднреА рддрдХ рдкрд╛рдпрдерди рдХреЗ рд╡рд░реНрдЪреБрдЕрд▓ рдПрдирд╡рд╛рдпрд░рдирдореЗрдВрдЯ рд╕реЗ рдкрд░рд┐рдЪрд┐рдд рдирд╣реАрдВ рд╣реИрдВ, рддреЛ рдХреГрдкрдпрд╛ рдЗрд╕реЗ [рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ рдирд┐рд░реНрджреЗрд╢](https://packaging.python.org/guides/installing-using-pip-and-virtual-environments/) рдкрдврд╝реЗрдВред
рд╕рдмрд╕реЗ рдкрд╣рд▓реЗ, рдкрд╛рдпрдерди рдХреЗ рдЙрд╕ рд╕рдВрд╕реНрдХрд░рдг рдХреЗ рд╕рд╛рде рдПрдХ рдЖрднрд╛рд╕реА рд╡рд╛рддрд╛рд╡рд░рдг рдмрдирд╛рдПрдВ рдЬрд┐рд╕рдХрд╛ рдЖрдк рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдФрд░ рдЙрд╕реЗ рд╕рдХреНрд░рд┐рдп рдХрд░рдиреЗ рдХреА рдпреЛрдЬрдирд╛ рдмрдирд╛ рд░рд╣реЗ рд╣реИрдВред
рдлрд┐рд░, рдЖрдкрдХреЛ Flax, PyTorch рдпрд╛ TensorFlow рдореЗрдВ рд╕реЗ рдХрд┐рд╕реА рдПрдХ рдХреЛ рд╕реНрдерд╛рдкрд┐рдд рдХрд░рдиреЗ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реИред рдЕрдкрдиреЗ рдкреНрд▓реЗрдЯрдлрд╝реЙрд░реНрдо рдкрд░ рдЗрди рдлрд╝реНрд░реЗрдорд╡рд░реНрдХ рдХреЛ рд╕реНрдерд╛рдкрд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, [TensorFlow рд╕реНрдерд╛рдкрдирд╛ рдкреГрд╖реНрда](https://www.tensorflow.org/install/), [PyTorch рд╕реНрдерд╛рдкрдирд╛ рдкреГрд╖реНрда](https://pytorch.org/get-started/locally)
рджреЗрдЦреЗрдВ start-locally рдпрд╛ [Flax рд╕реНрдерд╛рдкрдирд╛ рдкреГрд╖реНрда](https://github.com/google/flax#quick-install).
рдЬрдм рдЗрдирдореЗрдВ рд╕реЗ рдХреЛрдИ рдПрдХ рдмреИрдХрдПрдВрдб рд╕рдлрд▓рддрд╛рдкреВрд░реНрд╡рдХ рд╕реНрдерд╛рдкрд┐рдд рд╣реЛ рдЬрд╛рддрд╛ рд╣реИ, рддреЛ рдЯреНрд░рд╛рдВрд╕рдлреЙрд░реНрдорд░ рдирд┐рдореНрдирд╛рдиреБрд╕рд╛рд░ рд╕реНрдерд╛рдкрд┐рдд рдХрд┐рдП рдЬрд╛ рд╕рдХрддреЗ рд╣реИрдВ:
```bash
pip install transformers
```
рдпрджрд┐ рдЖрдк рдЙрдкрдпреЛрдЧ рдХреЗ рдорд╛рдорд▓реЛрдВ рдХреЛ рдЖрдЬрд╝рдорд╛рдирд╛ рдЪрд╛рд╣рддреЗ рд╣реИрдВ рдпрд╛ рдЖрдзрд┐рдХрд╛рд░рд┐рдХ рд░рд┐рд▓реАрдЬрд╝ рд╕реЗ рдкрд╣рд▓реЗ рдирд╡реАрдирддрдо рдЗрди-рдбреЗрд╡рд▓рдкрдореЗрдВрдЯ рдХреЛрдб рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛ рдЪрд╛рд╣рддреЗ рд╣реИрдВ, рддреЛ рдЖрдкрдХреЛ [рд╕реЛрд░реНрд╕ рд╕реЗ рдЗрдВрд╕реНрдЯреЙрд▓ рдХрд░рдирд╛ рд╣реЛрдЧрд╛](https://huggingface.co/docs/transformers/installation#installing-from-) рд╕реНрд░реЛрддред
### рдХреЛрдВрдбрд╛ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛
рдЯреНрд░рд╛рдВрд╕рдлреЙрд░реНрдорд░ рдХреЛрдВрдбрд╛ рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗ рдирд┐рдореНрдирд╛рдиреБрд╕рд╛рд░ рд╕реНрдерд╛рдкрд┐рдд рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ:
```shell script
conda install conda-forge::transformers
```
> **_рдиреЛрдЯ:_** `huggingface` рдЪреИрдирд▓ рд╕реЗ `transformers` рдЗрдВрд╕реНрдЯреЙрд▓ рдХрд░рдирд╛ рдкреБрд░рд╛рдирд╛ рдкрдбрд╝ рдЪреБрдХрд╛ рд╣реИред
рдХреЛрдВрдбрд╛ рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗ Flax, PyTorch, рдпрд╛ TensorFlow рдореЗрдВ рд╕реЗ рдХрд┐рд╕реА рдПрдХ рдХреЛ рд╕реНрдерд╛рдкрд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рдирд┐рд░реНрджреЗрд╢реЛрдВ рдХреЗ рд▓рд┐рдП рдЙрдирдХреЗ рд╕рдВрдмрдВрдзрд┐рдд рд╕реНрдерд╛рдкрдирд╛ рдкреГрд╖реНрда рджреЗрдЦреЗрдВред
## рдореЙрдбрд▓ рдЖрд░реНрдХрд┐рдЯреЗрдХреНрдЪрд░
[рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛](https://huggingface.co/users) рдФрд░ [organization](https://huggingface.co) рджреНрд╡рд╛рд░рд╛ рдЯреНрд░рд╛рдВрд╕рдлреЙрд░реНрдорд░ рд╕рдорд░реНрдерд┐рдд [**рд╕рднреА рдореЙрдбрд▓ рдЪреМрдХрд┐рдпреЛрдВ**](https://huggingface.co/models/users) рд╣рдЧрд┐рдВрдЧрдлреЗрд╕.рдХреЛ/рдСрд░реНрдЧрдирд╛рдЗрдЬреЗрд╢рди), рд╕рднреА рдХреЛ рдмрд┐рдирд╛ рдХрд┐рд╕реА рдмрд╛рдзрд╛ рдХреЗ рд╣рдЧрд┐рдВрдЧрдлреЗрд╕.рдХреЛ [рдореЙрдбрд▓ рд╣рдм](https://huggingface.co) рдХреЗ рд╕рд╛рде рдПрдХреАрдХреГрдд рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИред
рдЪреМрдХрд┐рдпреЛрдВ рдХреА рд╡рд░реНрддрдорд╛рди рд╕рдВрдЦреНрдпрд╛: ![](https://img.shields.io/endpoint?url=https://huggingface.co/api/shields/models&color=brightgreen)
ЁЯдЧ рдЯреНрд░рд╛рдВрд╕рдлреЙрд░реНрдорд░ рд╡рд░реНрддрдорд╛рди рдореЗрдВ рдирд┐рдореНрдирд▓рд┐рдЦрд┐рдд рдЖрд░реНрдХрд┐рдЯреЗрдХреНрдЪрд░ рдХрд╛ рд╕рдорд░реНрдерди рдХрд░рддреЗ рд╣реИрдВ: рдореЙрдбрд▓ рдХреЗ рдЕрд╡рд▓реЛрдХрди рдХреЗ рд▓рд┐рдП [рдпрд╣рд╛рдВ рджреЗрдЦреЗрдВ](https://huggingface.co/docs/transformers/model_summary)я╝Ъ
рдпрд╣ рдЬрд╛рдВрдЪрдиреЗ рдХреЗ рд▓рд┐рдП рдХрд┐ рдХреНрдпрд╛ рдХрд┐рд╕реА рдореЙрдбрд▓ рдореЗрдВ рдкрд╣рд▓реЗ рд╕реЗ рд╣реА Flax, PyTorch рдпрд╛ TensorFlow рдХрд╛ рдХрд╛рд░реНрдпрд╛рдиреНрд╡рдпрди рд╣реИ, рдпрд╛ рдпрджрд┐ рдЙрд╕рдХреЗ рдкрд╛рд╕ Tokenizers рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдореЗрдВ рд╕рдВрдмрдВрдзрд┐рдд рдЯреЛрдХрди рд╣реИ, рддреЛ [рдпрд╣ рддрд╛рд▓рд┐рдХрд╛](https://huggingface.co/docs/transformers/index#supported) рджреЗрдЦреЗрдВред -рдлреНрд░реЗрдорд╡рд░реНрдХ)ред
рдЗрди рдХрд╛рд░реНрдпрд╛рдиреНрд╡рдпрдиреЛрдВ рдХрд╛ рдкрд░реАрдХреНрд╖рдг рдХрдИ рдбреЗрдЯрд╛рд╕реЗрдЯ рдкрд░ рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИ (рджреЗрдЦреЗрдВ рдХреЗрд╕ рд╕реНрдХреНрд░рд┐рдкреНрдЯ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВ) рдФрд░ рд╡реИрдирд┐рд▓рд╛ рдХрд╛рд░реНрдпрд╛рдиреНрд╡рдпрди рдХреЗ рд▓рд┐рдП рддреБрд▓рдирд╛рддреНрдордХ рд░реВрдк рд╕реЗ рдкреНрд░рджрд░реНрд╢рди рдХрд░рдирд╛ рдЪрд╛рд╣рд┐рдПред рдЖрдк рдЙрдкрдпреЛрдЧ рдХреЗ рдорд╛рдорд▓реЗ рдХреЗ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ [рдЗрд╕ рдЕрдиреБрднрд╛рдЧ](https://huggingface.co/docs/transformers/examples) рдореЗрдВ рд╡реНрдпрд╡рд╣рд╛рд░ рдХрд╛ рд╡рд┐рд╡рд░рдг рдкрдврд╝ рд╕рдХрддреЗ рд╣реИрдВред
## рдЕрдзрд┐рдХ рд╕рдордЭреЗрдВ
|рдЕрдзреНрдпрд╛рдп | рд╡рд┐рд╡рд░рдг |
|-|-|
| [рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реАрдХрд░рдг](https://huggingface.co/transformers/) | рдкреВрд░рд╛ рдПрдкреАрдЖрдИ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реАрдХрд░рдг рдФрд░ рдЯреНрдпреВрдЯреЛрд░рд┐рдпрд▓ |
| [рдХрд╛рд░реНрдп рд╕рд╛рд░рд╛рдВрд╢](https://huggingface.co/docs/transformers/task_summary) | рдЯреНрд░рд╛рдВрд╕рдлреЙрд░реНрдорд░ рд╕рдорд░реНрдерд┐рдд рдХрд╛рд░реНрдп |
| [рдкреНрд░реАрдкреНрд░реЛрд╕реЗрд╕рд┐рдВрдЧ рдЯреНрдпреВрдЯреЛрд░рд┐рдпрд▓](https://huggingface.co/docs/transformers/preprocessing) | рдореЙрдбрд▓ рдХреЗ рд▓рд┐рдП рдбреЗрдЯрд╛ рддреИрдпрд╛рд░ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП `рдЯреЛрдХрдирд╛рдЗрдЬрд╝рд░` рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛ |
| [рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдФрд░ рдлрд╛рдЗрди-рдЯреНрдпреВрдирд┐рдВрдЧ](https://huggingface.co/docs/transformers/training) | PyTorch/TensorFlow рдХреЗ рдЯреНрд░реЗрдирд┐рдВрдЧ рд▓реВрдк рдпрд╛ `рдЯреНрд░реЗрдирд░` API рдореЗрдВ рдЯреНрд░рд╛рдВрд╕рдлреЙрд░реНрдорд░ рджреНрд╡рд╛рд░рд╛ рджрд┐рдП рдЧрдП рдореЙрдбрд▓ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВ |
| [рдХреНрд╡рд┐рдХ рд╕реНрдЯрд╛рд░реНрдЯ: рдЯреНрд╡реАрдХрд┐рдВрдЧ рдПрдВрдб рдпреВрдЬрд╝ рдХреЗрд╕ рд╕реНрдХреНрд░рд┐рдкреНрдЯреНрд╕](https://github.com/huggingface/transformers/tree/main/examples) | рд╡рд┐рднрд┐рдиреНрди рдХрд╛рд░реНрдпреЛрдВ рдХреЗ рд▓рд┐рдП рдХреЗрд╕ рд╕реНрдХреНрд░рд┐рдкреНрдЯ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВ |
| [рдореЙрдбрд▓ рд╕рд╛рдЭрд╛ рдХрд░рдирд╛ рдФрд░ рдЕрдкрд▓реЛрдб рдХрд░рдирд╛](https://huggingface.co/docs/transformers/model_sharing) | рд╕рдореБрджрд╛рдп рдХреЗ рд╕рд╛рде рдЕрдкрдиреЗ рдлрд╛рдЗрди рдЯреВрдирдб рдореЙрдбрд▓ рдЕрдкрд▓реЛрдб рдФрд░ рд╕рд╛рдЭрд╛ рдХрд░реЗрдВ |
| [рдорд╛рдЗрдЧреНрд░реЗрд╢рди](https://huggingface.co/docs/transformers/migration) | `рдкрд╛рдЗрдЯреЛрд░рдЪ-рдЯреНрд░рд╛рдВрд╕рдлреЙрд░реНрдорд░реНрд╕` рдпрд╛ `рдкрд╛рдЗрдЯреЛрд░рдЪ-рдкреНрд░реАрдЯреНрд░реЗрдирдб-рдмрд░реНрдЯ` рд╕реЗ рдЯреНрд░рд╛рдВрд╕рдлреЙрд░реНрдорд░ рдореЗрдВ рдорд╛рдЗрдЧреНрд░реЗрдЯ рдХрд░рдирд╛ |
## рдЙрджреНрдзрд░рдг
рд╣рдордиреЗ рдЖрдзрд┐рдХрд╛рд░рд┐рдХ рддреМрд░ рдкрд░ рдЗрд╕ рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдХрд╛ [рдкреЗрдкрд░](https://www.aclweb.org/anthology/2020.emnlp-demos.6/) рдкреНрд░рдХрд╛рд╢рд┐рдд рдХрд┐рдпрд╛ рд╣реИ, рдЕрдЧрд░ рдЖрдк рдЯреНрд░рд╛рдиреНрд╕рдлрд╝реЙрд░реНрдорд░реНрд╕ рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реИрдВ, рддреЛ рдХреГрдкрдпрд╛ рдЙрджреНрдзреГрдд рдХрд░реЗрдВ:
```bibtex
@inproceedings{wolf-etal-2020-transformers,
title = "Transformers: State-of-the-Art Natural Language Processing",
author = "Thomas Wolf and Lysandre Debut and Victor Sanh and Julien Chaumond and Clement Delangue and Anthony Moi and Pierric Cistac and Tim Rault and R├йmi Louf and Morgan Funtowicz and Joe Davison and Sam Shleifer and Patrick von Platen and Clara Ma and Yacine Jernite and Julien Plu and Canwen Xu and Teven Le Scao and Sylvain Gugger and Mariama Drame and Quentin Lhoest and Alexander M. Rush",
booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations",
month = oct,
year = "2020",
address = "Online",
publisher = "Association for Computational Linguistics",
url = "https://www.aclweb.org/anthology/2020.emnlp-demos.6",
pages = "38--45"
}
```