diff options
Diffstat (limited to 'finetuning.py')
| -rwxr-xr-x[-rw-r--r--] | finetuning.py | 2 |
1 files changed, 1 insertions, 1 deletions
diff --git a/finetuning.py b/finetuning.py index 1de68c7..161fb54 100644..100755 --- a/finetuning.py +++ b/finetuning.py @@ -85,7 +85,7 @@ def main(): parser.add_argument("--gradient-accumulation", default=4) parser.add_argument("--learning-rate", default=1e-4) parser.add_argument("--epochs", default=1) - parser.add_argument("--warump-ratio", default=0.03) + parser.add_argument("--warmup-ratio", default=0.03) parser.add_argument("--scheduler-type", default="constant") parser.add_argument("--logging-steps", default=10) parser.add_argument("--lora-alpha", default=32) |