
【大模型】豆包大模型接入|10分钟带你手把手接入自己的项目中去
大模型已成为推动各行各业创新的关键力量,在本篇博客中,我将以火山引擎的云服务,特别是其大模型服务,来增强我们的项目并实现业务的增长,帮助你快速上手并实现大模型的调用。
·
目录
1、进入官网火山引擎-云上增长新动力 (volcengine.com),注册一个自己的账号,并完成实名认证:
3、进入控制台火山方舟管理控制台 (volcengine.com)挑选想要调用的大模型:
4、回到控制台火山方舟管理控制台 (volcengine.com) ,进入在线推理板块,点击创建推理接入点:
大模型已成为推动各行各业创新的关键力量,在本篇博客中,我将以火山引擎的云服务,特别是其大模型服务,来增强我们的项目并实现业务的增长,帮助你快速上手并实现大模型的调用。
1、进入官网火山引擎-云上增长新动力 (volcengine.com),注册一个自己的账号,并完成实名认证:
2、申请一个属于自己的API Key:
3、进入控制台火山方舟管理控制台 (volcengine.com)挑选想要调用的大模型:
进入开通管理,这里以 doubao-pro-4k这个模型为例,点击开通服务:
点击立即开通:
4、回到控制台火山方舟管理控制台 (volcengine.com) ,进入在线推理板块,点击创建推理接入点:
根据自己的需求,填写好下面的信息,添加好对应的模型:
创建好之后:
也可以查看这里的API调用文档:
里面有很多参考示例:
(在这一个页面你还可以找到对应的URL,这里忘记截图了。。。)
按照你的需求,结合示例代码,即可将大模型接入自己的项目中了。
PS:其他:
1、环境配置:
pip install --upgrade 'volcengine-python-sdk[ark]'
2、示例代码:
from volcenginesdkarkruntime import Ark
client = Ark(
base_url="https://ark.cn-beijing.volces.com/api/v3",
)
# Non-streaming:
print("----- standard request -----")
completion = client.chat.completions.create(
model="ep-xxxxxxxxxxx",
messages = [
{"role": "system", "content": "你是豆包,是由字节跳动开发的 AI 人工智能助手"},
{"role": "user", "content": "常见的十字花科植物有哪些?"},
],
)
print(completion.choices[0].message.content)
# Streaming:
print("----- streaming request -----")
stream = client.chat.completions.create(
model="ep-xxxxxxxxxx",
messages = [
{"role": "system", "content": "你是豆包,是由字节跳动开发的 AI 人工智能助手"},
{"role": "user", "content": "常见的十字花科植物有哪些?"},
],
stream=True
)
for chunk in stream:
if not chunk.choices:
continue
print(chunk.choices[0].delta.content, end="")
print()
更多推荐
所有评论(0)