语言模型工具

类：LanguageModelUtility¶

实现本地 AI 语言模型

进程：Utility

new LanguageModelUtility(initialState)¶

• initialState 对象
• contextUsage 数字
• contextWindow 数字

[!NOTE] 不要直接在类外部使用此构造函数，因为它不会正确连接到 localAIHandler

静态方法¶

LanguageModelUtility 类具有以下静态方法：

LanguageModelUtility.create(options) 实验性¶

• options LanguageModelCreateOptions

返回 Promise<LanguageModelUtility>。使用提供的 options 创建一个新的 LanguageModelUtility。

LanguageModelUtility.availability([options]) 实验性¶

• options LanguageModelCreateCoreOptions（可选）

返回 Promise<string>

确定语言模型的可用性，并返回以下字符串之一：

• available
• downloadable
• downloading
• unavailable

实例属性¶

LanguageModelUtility 的实例上可用以下属性：

languageModelUtility.contextUsage 实验性¶

一个 number，表示当前上下文窗口中有多少个 Token。

languageModelUtility.contextWindow 实验性¶

一个 number，表示上下文窗口的大小，以 Token 为单位。

实例方法¶

LanguageModelUtility 的实例上可用以下方法：

languageModelUtility.prompt(input, options) 实验性¶

• input LanguageModelMessage[]
• options LanguageModelPromptOptions

返回 Promise<string> | Promise<import('stream/web').ReadableStream<string>>。提示模型以获取响应。

languageModelUtility.append(input, options) 实验性¶

• input LanguageModelMessage[]
• options LanguageModelAppendOptions

返回 Promise<undefined>。追加一条消息，而不提示模型获取响应。

languageModelUtility.measureContextUsage(input, options) 实验性¶

• input LanguageModelMessage[]
• options LanguageModelPromptOptions

返回 Promise<number>。测量输入将使用多少个 Token。

languageModelUtility.clone(options) 实验性¶

• options LanguageModelCloneOptions

返回 Promise<LanguageModelUtility>。克隆 LanguageModelUtility，以便保留上下文和初始提示。

languageModelUtility.destroy() 实验性¶

销毁模型，并中止任何正在进行的执行。