dnrops
/
transformers
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

smaller header

This commit is contained in:
Arthur Zucker 2024-05-29 08:11:11 +02:00
parent 1fd611c752
commit 85d2a505cb
3 changed files with 33 additions and 162 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

65
src/transformers/models/gemma/configuration_gemma.py
View File

@ -1,59 +1,16 @@
# ░░▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒░░
# ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░▒▒
# ░░██░░▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓░░██
# ░░██░░████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████░░██
# ░░██░░████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████░░██
# ░░██░░██████████░░░░░░░░██████████▒▒░░░░▒▒████████░░░░██████░░░░██░░░░░░░░░░░░░░██░░░░████████░░░░░░░░████████░░░░▓▓████░░░░██████░░██
# ░░██░░████████░░░░░░░░░░░░████████░░░░░░░░████████░░░░██████░░░░██░░░░░░░░░░░░░░██░░░░██████░░░░░░░░░░░░▓▓████░░░░░░████░░░░██████░░██
# ░░██░░██████▒▒░░░░▒▒██░░░░░░██████░░░░░░░░████████░░░░██████░░░░██▓▓▓▓░░░░▓▓▓▓████░░░░████▓▓░░░░████░░░░░░████░░░░░░████░░░░██████░░██
# ░░██░░██████░░░░████████▒▒▓▓████▒▒░░▒▒░░░░▒▒██████░░░░██████░░░░██████░░░░████████░░░░████░░░░████████░░░░▒▒██░░░░░░░░██░░░░██████░░██
# ░░██░░██████░░░░████████████████░░░░██▓▓░░░░██████░░░░██████░░░░██████░░░░████████░░░░████░░░░████████░░░░░░██░░░░░░░░██░░░░██████░░██
# ░░██░░██████░░░░████████████████░░░░████░░░░▓▓████░░░░██████░░░░██████░░░░████████░░░░████░░░░████████░░░░░░██░░░░██░░░░░░░░██████░░██
# ░░██░░██████░░░░████████░░░░██░░░░░░░░░░░░░░░░████░░░░██████░░░░██████░░░░████████░░░░████░░░░████████░░░░▒▒██░░░░██░░░░░░░░██████░░██
# ░░██░░██████▒▒░░░░▓▓██░░░░▒▒██░░░░░░░░░░░░░░░░▓▓██░░░░▒▒██▒▒░░░░██████░░░░████████░░░░████▓▓░░░░████░░░░░░████░░░░████░░░░░░██████░░██
# ░░██░░████████░░░░░░░░░░░░██▓▓░░░░████████░░░░░░████░░░░░░░░░░████████░░░░████████░░░░██████░░░░░░░░░░░░▓▓████░░░░████▒▒░░░░██████░░██
# ░░██░░██████████████▓▓██████████████████████████████████████████████████████████████████████████▓▓▓▓██████████████████████████████░░██
# ░░██░░████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████░░██
# ░░██░░████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████████░░░░██████████▒▒░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████████████░░██████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░▒▒████████████████████▒▒████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████░░░░░░██████████░░░░████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██▒▒████░░░░░░██████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████░░░░██████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████░░████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░▒▒██████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████████████▓▓████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████████████░░░░████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████████████░░░░████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████████████▒▒████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████▒▒████████░░████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░████████▒▒██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░████████▒▒░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░████████░░░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░▒▒████████░░░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░░░████████░░░░░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████░░░░░░░░████████░░░░░░░░██░░██▓▓░░████▒▒░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████▒▒░░░░░░████████░░░░░░░░░░░░██████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░░░████████░░░░░░░░░░██████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████░░░░░░████████░░░░░░░░░░░░░░██████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████▒▒░░░░░░████████░░░░░░░░░░▒▒▓▓██████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░████████░░░░░░░░░░████████████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░██████▒▒░░░░░░░░░░████████████████████████████████▒▒░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████▒▒░░░░░░██████░░░░░░░░░░██████████████████████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░▒▒░░░░░░▒▒░░░░░░░░██
# ░░████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████░░
#
# ██╗ ██╗ █████╗ ██████╗ ███╗ ██╗██╗███╗ ██╗ ██████╗
# ██║ ██║██╔══██╗██╔══██╗████╗ ██║██║████╗ ██║██╔════╝
# ██║ █╗ ██║███████║██████╔╝██╔██╗ ██║██║██╔██╗ ██║██║ ███╗
# ██║███╗██║██╔══██║██╔══██╗██║╚██╗██║██║██║╚██╗██║██║ ██║
# ╚███╔███╔╝██║ ██║██║ ██║██║ ╚████║██║██║ ╚████║╚██████╔╝
# ╚══╝╚══╝ ╚═╝ ╚═╝╚═╝ ╚═╝╚═╝ ╚═══╝╚═╝╚═╝ ╚═══╝ ╚═════╝
#
# This file was automatically generated from <path_to_diff_file.py>.
# Do NOT edit this file manually as any edits will be overwritten by the generation of
# the file from the diff.
# If any change should be done, please apply the change to the diff.py file directly
# the file from the diff. If any change should be done, please apply the change to the
# diff.py file directly.
#
# coding=utf-8
# Copyright 2024 Google Inc. HuggingFace Inc. team. All rights reserved.
#

65
src/transformers/models/gemma/modeling_gemma.py
View File

@ -1,59 +1,16 @@
# ░░▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒░░
# ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░▒▒
# ░░██░░▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓░░██
# ░░██░░████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████░░██
# ░░██░░████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████░░██
# ░░██░░██████████░░░░░░░░██████████▒▒░░░░▒▒████████░░░░██████░░░░██░░░░░░░░░░░░░░██░░░░████████░░░░░░░░████████░░░░▓▓████░░░░██████░░██
# ░░██░░████████░░░░░░░░░░░░████████░░░░░░░░████████░░░░██████░░░░██░░░░░░░░░░░░░░██░░░░██████░░░░░░░░░░░░▓▓████░░░░░░████░░░░██████░░██
# ░░██░░██████▒▒░░░░▒▒██░░░░░░██████░░░░░░░░████████░░░░██████░░░░██▓▓▓▓░░░░▓▓▓▓████░░░░████▓▓░░░░████░░░░░░████░░░░░░████░░░░██████░░██
# ░░██░░██████░░░░████████▒▒▓▓████▒▒░░▒▒░░░░▒▒██████░░░░██████░░░░██████░░░░████████░░░░████░░░░████████░░░░▒▒██░░░░░░░░██░░░░██████░░██
# ░░██░░██████░░░░████████████████░░░░██▓▓░░░░██████░░░░██████░░░░██████░░░░████████░░░░████░░░░████████░░░░░░██░░░░░░░░██░░░░██████░░██
# ░░██░░██████░░░░████████████████░░░░████░░░░▓▓████░░░░██████░░░░██████░░░░████████░░░░████░░░░████████░░░░░░██░░░░██░░░░░░░░██████░░██
# ░░██░░██████░░░░████████░░░░██░░░░░░░░░░░░░░░░████░░░░██████░░░░██████░░░░████████░░░░████░░░░████████░░░░▒▒██░░░░██░░░░░░░░██████░░██
# ░░██░░██████▒▒░░░░▓▓██░░░░▒▒██░░░░░░░░░░░░░░░░▓▓██░░░░▒▒██▒▒░░░░██████░░░░████████░░░░████▓▓░░░░████░░░░░░████░░░░████░░░░░░██████░░██
# ░░██░░████████░░░░░░░░░░░░██▓▓░░░░████████░░░░░░████░░░░░░░░░░████████░░░░████████░░░░██████░░░░░░░░░░░░▓▓████░░░░████▒▒░░░░██████░░██
# ░░██░░██████████████▓▓██████████████████████████████████████████████████████████████████████████▓▓▓▓██████████████████████████████░░██
# ░░██░░████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████░░██
# ░░██░░████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████████░░░░██████████▒▒░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████████████░░██████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░▒▒████████████████████▒▒████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████░░░░░░██████████░░░░████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██▒▒████░░░░░░██████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████░░░░██████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████░░████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░▒▒██████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████████████▓▓████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████████████░░░░████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████████████░░░░████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████████████▒▒████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████▒▒████████░░████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░████████▒▒██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░████████▒▒░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░████████░░░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░▒▒████████░░░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░░░████████░░░░░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████░░░░░░░░████████░░░░░░░░██░░██▓▓░░████▒▒░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████▒▒░░░░░░████████░░░░░░░░░░░░██████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░░░████████░░░░░░░░░░██████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████░░░░░░████████░░░░░░░░░░░░░░██████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████▒▒░░░░░░████████░░░░░░░░░░▒▒▓▓██████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░████████░░░░░░░░░░████████████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░██████▒▒░░░░░░░░░░████████████████████████████████▒▒░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████▒▒░░░░░░██████░░░░░░░░░░██████████████████████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░▒▒░░░░░░▒▒░░░░░░░░██
# ░░████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████░░
#
# ██╗ ██╗ █████╗ ██████╗ ███╗ ██╗██╗███╗ ██╗ ██████╗
# ██║ ██║██╔══██╗██╔══██╗████╗ ██║██║████╗ ██║██╔════╝
# ██║ █╗ ██║███████║██████╔╝██╔██╗ ██║██║██╔██╗ ██║██║ ███╗
# ██║███╗██║██╔══██║██╔══██╗██║╚██╗██║██║██║╚██╗██║██║ ██║
# ╚███╔███╔╝██║ ██║██║ ██║██║ ╚████║██║██║ ╚████║╚██████╔╝
# ╚══╝╚══╝ ╚═╝ ╚═╝╚═╝ ╚═╝╚═╝ ╚═══╝╚═╝╚═╝ ╚═══╝ ╚═════╝
#
# This file was automatically generated from <path_to_diff_file.py>.
# Do NOT edit this file manually as any edits will be overwritten by the generation of
# the file from the diff.
# If any change should be done, please apply the change to the diff.py file directly
# the file from the diff. If any change should be done, please apply the change to the
# diff.py file directly.
#
# coding=utf-8
# Copyright 2024 Google Inc. HuggingFace Inc. team. All rights reserved.
#

65
src/transformers/models/llama/modeling_llama.py
View File

@ -1,59 +1,16 @@
# ░░▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒░░
# ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░▒▒
# ░░██░░▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓░░██
# ░░██░░████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████░░██
# ░░██░░████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████░░██
# ░░██░░██████████░░░░░░░░██████████▒▒░░░░▒▒████████░░░░██████░░░░██░░░░░░░░░░░░░░██░░░░████████░░░░░░░░████████░░░░▓▓████░░░░██████░░██
# ░░██░░████████░░░░░░░░░░░░████████░░░░░░░░████████░░░░██████░░░░██░░░░░░░░░░░░░░██░░░░██████░░░░░░░░░░░░▓▓████░░░░░░████░░░░██████░░██
# ░░██░░██████▒▒░░░░▒▒██░░░░░░██████░░░░░░░░████████░░░░██████░░░░██▓▓▓▓░░░░▓▓▓▓████░░░░████▓▓░░░░████░░░░░░████░░░░░░████░░░░██████░░██
# ░░██░░██████░░░░████████▒▒▓▓████▒▒░░▒▒░░░░▒▒██████░░░░██████░░░░██████░░░░████████░░░░████░░░░████████░░░░▒▒██░░░░░░░░██░░░░██████░░██
# ░░██░░██████░░░░████████████████░░░░██▓▓░░░░██████░░░░██████░░░░██████░░░░████████░░░░████░░░░████████░░░░░░██░░░░░░░░██░░░░██████░░██
# ░░██░░██████░░░░████████████████░░░░████░░░░▓▓████░░░░██████░░░░██████░░░░████████░░░░████░░░░████████░░░░░░██░░░░██░░░░░░░░██████░░██
# ░░██░░██████░░░░████████░░░░██░░░░░░░░░░░░░░░░████░░░░██████░░░░██████░░░░████████░░░░████░░░░████████░░░░▒▒██░░░░██░░░░░░░░██████░░██
# ░░██░░██████▒▒░░░░▓▓██░░░░▒▒██░░░░░░░░░░░░░░░░▓▓██░░░░▒▒██▒▒░░░░██████░░░░████████░░░░████▓▓░░░░████░░░░░░████░░░░████░░░░░░██████░░██
# ░░██░░████████░░░░░░░░░░░░██▓▓░░░░████████░░░░░░████░░░░░░░░░░████████░░░░████████░░░░██████░░░░░░░░░░░░▓▓████░░░░████▒▒░░░░██████░░██
# ░░██░░██████████████▓▓██████████████████████████████████████████████████████████████████████████▓▓▓▓██████████████████████████████░░██
# ░░██░░████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████░░██
# ░░██░░████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████████░░░░██████████▒▒░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████████████░░██████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░▒▒████████████████████▒▒████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████░░░░░░██████████░░░░████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██▒▒████░░░░░░██████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████░░░░██████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████░░████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░▒▒██████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████████████▓▓████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████████████░░░░████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████████████░░░░████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████████████▒▒████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████▒▒████████░░████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░████████▒▒██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░████████▒▒░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░████████░░░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░▒▒████████░░░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░░░████████░░░░░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████░░░░░░░░████████░░░░░░░░██░░██▓▓░░████▒▒░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████▒▒░░░░░░████████░░░░░░░░░░░░██████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░░░████████░░░░░░░░░░██████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████░░░░░░████████░░░░░░░░░░░░░░██████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████▒▒░░░░░░████████░░░░░░░░░░▒▒▓▓██████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░████████░░░░░░░░░░████████████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░██████▒▒░░░░░░░░░░████████████████████████████████▒▒░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████▒▒░░░░░░██████░░░░░░░░░░██████████████████████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██
# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░▒▒░░░░░░▒▒░░░░░░░░██
# ░░████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████░░
#
# ██╗ ██╗ █████╗ ██████╗ ███╗ ██╗██╗███╗ ██╗ ██████╗
# ██║ ██║██╔══██╗██╔══██╗████╗ ██║██║████╗ ██║██╔════╝
# ██║ █╗ ██║███████║██████╔╝██╔██╗ ██║██║██╔██╗ ██║██║ ███╗
# ██║███╗██║██╔══██║██╔══██╗██║╚██╗██║██║██║╚██╗██║██║ ██║
# ╚███╔███╔╝██║ ██║██║ ██║██║ ╚████║██║██║ ╚████║╚██████╔╝
# ╚══╝╚══╝ ╚═╝ ╚═╝╚═╝ ╚═╝╚═╝ ╚═══╝╚═╝╚═╝ ╚═══╝ ╚═════╝
#
# This file was automatically generated from <path_to_diff_file.py>.
# Do NOT edit this file manually as any edits will be overwritten by the generation of
# the file from the diff.
# If any change should be done, please apply the change to the diff.py file directly
# the file from the diff. If any change should be done, please apply the change to the
# diff.py file directly.
#
# coding=utf-8
# Copyright 2022 EleutherAI and the HuggingFace Inc. team. All rights reserved.
#