diff --git a/src/utils/tokenizerUtils.ts b/src/utils/tokenizerUtils.ts index ce459966..187d2fe5 100644 --- a/src/utils/tokenizerUtils.ts +++ b/src/utils/tokenizerUtils.ts @@ -14,7 +14,9 @@ export function resolveBeginningTokenToPrepend(vocabularyType: LlamaVocabularyTy if (vocabularyType === LlamaVocabularyType.ugm) - return null; + return tokens.shouldPrependBosToken + ? tokens.bos + : null; if (tokens.shouldPrependBosToken) return tokens.bos;