diff --git a/src/transformers/models/gemma/configuration_gemma.py b/src/transformers/models/gemma/configuration_gemma.py index abea55b893..80f0a2231b 100644 --- a/src/transformers/models/gemma/configuration_gemma.py +++ b/src/transformers/models/gemma/configuration_gemma.py @@ -1,59 +1,16 @@ -# ░░▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒░░ -# ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░▒▒ -# ░░██░░▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓░░██ -# ░░██░░████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████░░██ -# ░░██░░████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████░░██ -# ░░██░░██████████░░░░░░░░██████████▒▒░░░░▒▒████████░░░░██████░░░░██░░░░░░░░░░░░░░██░░░░████████░░░░░░░░████████░░░░▓▓████░░░░██████░░██ -# ░░██░░████████░░░░░░░░░░░░████████░░░░░░░░████████░░░░██████░░░░██░░░░░░░░░░░░░░██░░░░██████░░░░░░░░░░░░▓▓████░░░░░░████░░░░██████░░██ -# ░░██░░██████▒▒░░░░▒▒██░░░░░░██████░░░░░░░░████████░░░░██████░░░░██▓▓▓▓░░░░▓▓▓▓████░░░░████▓▓░░░░████░░░░░░████░░░░░░████░░░░██████░░██ -# ░░██░░██████░░░░████████▒▒▓▓████▒▒░░▒▒░░░░▒▒██████░░░░██████░░░░██████░░░░████████░░░░████░░░░████████░░░░▒▒██░░░░░░░░██░░░░██████░░██ -# ░░██░░██████░░░░████████████████░░░░██▓▓░░░░██████░░░░██████░░░░██████░░░░████████░░░░████░░░░████████░░░░░░██░░░░░░░░██░░░░██████░░██ -# ░░██░░██████░░░░████████████████░░░░████░░░░▓▓████░░░░██████░░░░██████░░░░████████░░░░████░░░░████████░░░░░░██░░░░██░░░░░░░░██████░░██ -# ░░██░░██████░░░░████████░░░░██░░░░░░░░░░░░░░░░████░░░░██████░░░░██████░░░░████████░░░░████░░░░████████░░░░▒▒██░░░░██░░░░░░░░██████░░██ -# ░░██░░██████▒▒░░░░▓▓██░░░░▒▒██░░░░░░░░░░░░░░░░▓▓██░░░░▒▒██▒▒░░░░██████░░░░████████░░░░████▓▓░░░░████░░░░░░████░░░░████░░░░░░██████░░██ -# ░░██░░████████░░░░░░░░░░░░██▓▓░░░░████████░░░░░░████░░░░░░░░░░████████░░░░████████░░░░██████░░░░░░░░░░░░▓▓████░░░░████▒▒░░░░██████░░██ -# ░░██░░██████████████▓▓██████████████████████████████████████████████████████████████████████████▓▓▓▓██████████████████████████████░░██ -# ░░██░░████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████░░██ -# ░░██░░████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████████░░░░██████████▒▒░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████████████░░██████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░▒▒████████████████████▒▒████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████░░░░░░██████████░░░░████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██▒▒████░░░░░░██████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████░░░░██████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████░░████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░▒▒██████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████████████▓▓████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████████████░░░░████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████████████░░░░████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████████████▒▒████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████▒▒████████░░████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░████████▒▒██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░████████▒▒░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░████████░░░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░▒▒████████░░░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░░░████████░░░░░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████░░░░░░░░████████░░░░░░░░██░░██▓▓░░████▒▒░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████▒▒░░░░░░████████░░░░░░░░░░░░██████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░░░████████░░░░░░░░░░██████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████░░░░░░████████░░░░░░░░░░░░░░██████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████▒▒░░░░░░████████░░░░░░░░░░▒▒▓▓██████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░████████░░░░░░░░░░████████████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░██████▒▒░░░░░░░░░░████████████████████████████████▒▒░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████▒▒░░░░░░██████░░░░░░░░░░██████████████████████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░▒▒░░░░░░▒▒░░░░░░░░██ -# ░░████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████░░ +# +# ██╗ ██╗ █████╗ ██████╗ ███╗ ██╗██╗███╗ ██╗ ██████╗ +# ██║ ██║██╔══██╗██╔══██╗████╗ ██║██║████╗ ██║██╔════╝ +# ██║ █╗ ██║███████║██████╔╝██╔██╗ ██║██║██╔██╗ ██║██║ ███╗ +# ██║███╗██║██╔══██║██╔══██╗██║╚██╗██║██║██║╚██╗██║██║ ██║ +# ╚███╔███╔╝██║ ██║██║ ██║██║ ╚████║██║██║ ╚████║╚██████╔╝ +# ╚══╝╚══╝ ╚═╝ ╚═╝╚═╝ ╚═╝╚═╝ ╚═══╝╚═╝╚═╝ ╚═══╝ ╚═════╝ +# # This file was automatically generated from . # Do NOT edit this file manually as any edits will be overwritten by the generation of -# the file from the diff. -# If any change should be done, please apply the change to the diff.py file directly - - +# the file from the diff. If any change should be done, please apply the change to the +# diff.py file directly. +# # coding=utf-8 # Copyright 2024 Google Inc. HuggingFace Inc. team. All rights reserved. # diff --git a/src/transformers/models/gemma/modeling_gemma.py b/src/transformers/models/gemma/modeling_gemma.py index 122b96c1e4..fc2c0dfda0 100644 --- a/src/transformers/models/gemma/modeling_gemma.py +++ b/src/transformers/models/gemma/modeling_gemma.py @@ -1,59 +1,16 @@ -# ░░▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒░░ -# ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░▒▒ -# ░░██░░▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓░░██ -# ░░██░░████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████░░██ -# ░░██░░████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████░░██ -# ░░██░░██████████░░░░░░░░██████████▒▒░░░░▒▒████████░░░░██████░░░░██░░░░░░░░░░░░░░██░░░░████████░░░░░░░░████████░░░░▓▓████░░░░██████░░██ -# ░░██░░████████░░░░░░░░░░░░████████░░░░░░░░████████░░░░██████░░░░██░░░░░░░░░░░░░░██░░░░██████░░░░░░░░░░░░▓▓████░░░░░░████░░░░██████░░██ -# ░░██░░██████▒▒░░░░▒▒██░░░░░░██████░░░░░░░░████████░░░░██████░░░░██▓▓▓▓░░░░▓▓▓▓████░░░░████▓▓░░░░████░░░░░░████░░░░░░████░░░░██████░░██ -# ░░██░░██████░░░░████████▒▒▓▓████▒▒░░▒▒░░░░▒▒██████░░░░██████░░░░██████░░░░████████░░░░████░░░░████████░░░░▒▒██░░░░░░░░██░░░░██████░░██ -# ░░██░░██████░░░░████████████████░░░░██▓▓░░░░██████░░░░██████░░░░██████░░░░████████░░░░████░░░░████████░░░░░░██░░░░░░░░██░░░░██████░░██ -# ░░██░░██████░░░░████████████████░░░░████░░░░▓▓████░░░░██████░░░░██████░░░░████████░░░░████░░░░████████░░░░░░██░░░░██░░░░░░░░██████░░██ -# ░░██░░██████░░░░████████░░░░██░░░░░░░░░░░░░░░░████░░░░██████░░░░██████░░░░████████░░░░████░░░░████████░░░░▒▒██░░░░██░░░░░░░░██████░░██ -# ░░██░░██████▒▒░░░░▓▓██░░░░▒▒██░░░░░░░░░░░░░░░░▓▓██░░░░▒▒██▒▒░░░░██████░░░░████████░░░░████▓▓░░░░████░░░░░░████░░░░████░░░░░░██████░░██ -# ░░██░░████████░░░░░░░░░░░░██▓▓░░░░████████░░░░░░████░░░░░░░░░░████████░░░░████████░░░░██████░░░░░░░░░░░░▓▓████░░░░████▒▒░░░░██████░░██ -# ░░██░░██████████████▓▓██████████████████████████████████████████████████████████████████████████▓▓▓▓██████████████████████████████░░██ -# ░░██░░████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████░░██ -# ░░██░░████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████████░░░░██████████▒▒░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████████████░░██████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░▒▒████████████████████▒▒████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████░░░░░░██████████░░░░████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██▒▒████░░░░░░██████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████░░░░██████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████░░████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░▒▒██████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████████████▓▓████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████████████░░░░████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████████████░░░░████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████████████▒▒████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████▒▒████████░░████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░████████▒▒██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░████████▒▒░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░████████░░░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░▒▒████████░░░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░░░████████░░░░░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████░░░░░░░░████████░░░░░░░░██░░██▓▓░░████▒▒░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████▒▒░░░░░░████████░░░░░░░░░░░░██████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░░░████████░░░░░░░░░░██████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████░░░░░░████████░░░░░░░░░░░░░░██████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████▒▒░░░░░░████████░░░░░░░░░░▒▒▓▓██████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░████████░░░░░░░░░░████████████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░██████▒▒░░░░░░░░░░████████████████████████████████▒▒░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████▒▒░░░░░░██████░░░░░░░░░░██████████████████████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░▒▒░░░░░░▒▒░░░░░░░░██ -# ░░████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████░░ +# +# ██╗ ██╗ █████╗ ██████╗ ███╗ ██╗██╗███╗ ██╗ ██████╗ +# ██║ ██║██╔══██╗██╔══██╗████╗ ██║██║████╗ ██║██╔════╝ +# ██║ █╗ ██║███████║██████╔╝██╔██╗ ██║██║██╔██╗ ██║██║ ███╗ +# ██║███╗██║██╔══██║██╔══██╗██║╚██╗██║██║██║╚██╗██║██║ ██║ +# ╚███╔███╔╝██║ ██║██║ ██║██║ ╚████║██║██║ ╚████║╚██████╔╝ +# ╚══╝╚══╝ ╚═╝ ╚═╝╚═╝ ╚═╝╚═╝ ╚═══╝╚═╝╚═╝ ╚═══╝ ╚═════╝ +# # This file was automatically generated from . # Do NOT edit this file manually as any edits will be overwritten by the generation of -# the file from the diff. -# If any change should be done, please apply the change to the diff.py file directly - - +# the file from the diff. If any change should be done, please apply the change to the +# diff.py file directly. +# # coding=utf-8 # Copyright 2024 Google Inc. HuggingFace Inc. team. All rights reserved. # diff --git a/src/transformers/models/llama/modeling_llama.py b/src/transformers/models/llama/modeling_llama.py index 0246bcc335..8e1b464e6c 100644 --- a/src/transformers/models/llama/modeling_llama.py +++ b/src/transformers/models/llama/modeling_llama.py @@ -1,59 +1,16 @@ -# ░░▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒░░ -# ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░▒▒ -# ░░██░░▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓░░██ -# ░░██░░████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████░░██ -# ░░██░░████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████░░██ -# ░░██░░██████████░░░░░░░░██████████▒▒░░░░▒▒████████░░░░██████░░░░██░░░░░░░░░░░░░░██░░░░████████░░░░░░░░████████░░░░▓▓████░░░░██████░░██ -# ░░██░░████████░░░░░░░░░░░░████████░░░░░░░░████████░░░░██████░░░░██░░░░░░░░░░░░░░██░░░░██████░░░░░░░░░░░░▓▓████░░░░░░████░░░░██████░░██ -# ░░██░░██████▒▒░░░░▒▒██░░░░░░██████░░░░░░░░████████░░░░██████░░░░██▓▓▓▓░░░░▓▓▓▓████░░░░████▓▓░░░░████░░░░░░████░░░░░░████░░░░██████░░██ -# ░░██░░██████░░░░████████▒▒▓▓████▒▒░░▒▒░░░░▒▒██████░░░░██████░░░░██████░░░░████████░░░░████░░░░████████░░░░▒▒██░░░░░░░░██░░░░██████░░██ -# ░░██░░██████░░░░████████████████░░░░██▓▓░░░░██████░░░░██████░░░░██████░░░░████████░░░░████░░░░████████░░░░░░██░░░░░░░░██░░░░██████░░██ -# ░░██░░██████░░░░████████████████░░░░████░░░░▓▓████░░░░██████░░░░██████░░░░████████░░░░████░░░░████████░░░░░░██░░░░██░░░░░░░░██████░░██ -# ░░██░░██████░░░░████████░░░░██░░░░░░░░░░░░░░░░████░░░░██████░░░░██████░░░░████████░░░░████░░░░████████░░░░▒▒██░░░░██░░░░░░░░██████░░██ -# ░░██░░██████▒▒░░░░▓▓██░░░░▒▒██░░░░░░░░░░░░░░░░▓▓██░░░░▒▒██▒▒░░░░██████░░░░████████░░░░████▓▓░░░░████░░░░░░████░░░░████░░░░░░██████░░██ -# ░░██░░████████░░░░░░░░░░░░██▓▓░░░░████████░░░░░░████░░░░░░░░░░████████░░░░████████░░░░██████░░░░░░░░░░░░▓▓████░░░░████▒▒░░░░██████░░██ -# ░░██░░██████████████▓▓██████████████████████████████████████████████████████████████████████████▓▓▓▓██████████████████████████████░░██ -# ░░██░░████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████░░██ -# ░░██░░████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████████░░░░██████████▒▒░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████████████░░██████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░▒▒████████████████████▒▒████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████░░░░░░██████████░░░░████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██▒▒████░░░░░░██████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████░░░░██████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████░░████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░▒▒██████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████████████▓▓████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████████████░░░░████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████████████░░░░████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████████████▒▒████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████▒▒████████░░████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░████████▒▒██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░████████▒▒░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░████████░░░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░▒▒████████░░░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░░░████████░░░░░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████░░░░░░░░████████░░░░░░░░██░░██▓▓░░████▒▒░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████▒▒░░░░░░████████░░░░░░░░░░░░██████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░░░████████░░░░░░░░░░██████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████████░░░░░░████████░░░░░░░░░░░░░░██████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████▒▒░░░░░░████████░░░░░░░░░░▒▒▓▓██████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░████████░░░░░░░░░░████████████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░████████░░░░░░██████▒▒░░░░░░░░░░████████████████████████████████▒▒░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██████▒▒░░░░░░██████░░░░░░░░░░██████████████████████████████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░██ -# ░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░▒▒░░░░░░▒▒░░░░░░░░██ -# ░░████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████░░ +# +# ██╗ ██╗ █████╗ ██████╗ ███╗ ██╗██╗███╗ ██╗ ██████╗ +# ██║ ██║██╔══██╗██╔══██╗████╗ ██║██║████╗ ██║██╔════╝ +# ██║ █╗ ██║███████║██████╔╝██╔██╗ ██║██║██╔██╗ ██║██║ ███╗ +# ██║███╗██║██╔══██║██╔══██╗██║╚██╗██║██║██║╚██╗██║██║ ██║ +# ╚███╔███╔╝██║ ██║██║ ██║██║ ╚████║██║██║ ╚████║╚██████╔╝ +# ╚══╝╚══╝ ╚═╝ ╚═╝╚═╝ ╚═╝╚═╝ ╚═══╝╚═╝╚═╝ ╚═══╝ ╚═════╝ +# # This file was automatically generated from . # Do NOT edit this file manually as any edits will be overwritten by the generation of -# the file from the diff. -# If any change should be done, please apply the change to the diff.py file directly - - +# the file from the diff. If any change should be done, please apply the change to the +# diff.py file directly. +# # coding=utf-8 # Copyright 2022 EleutherAI and the HuggingFace Inc. team. All rights reserved. #