Безсървърно извеждане с платформата GradientAI
Безсървърната индукция е, с право, една от най-горещите теми както в техническите, така и в нетехническите среди на потребителите на ИИ, и с основание. Докато контролирането на всеки аспект от внедряването често е необходимо за внедряване на персонализирани модели, безсървърната архитектура премахва главоболията от поддържането и управлението на внедряването на модела и API крайна точка. Това може да бъде изключително полезно за множество различни случаи на употреба на агентни LLM.
В този урок ще покажем как да започнете с безсървърно заключение на платформата GradientAI, използвайки DigitalOcean API. След това ще обсъдим някои от потенциалните случаи на употреба за методологията в производство и ежедневни работни процеси.
Достъп до безсървърна инференция на платформата GradientAI
За да започнем, можем да използваме или DigitalOcean API, или Cloud Console. Нека разгледаме всяка методология.
Стъпка 1а: Създайте API ключ за DigitalOcean
За да започнете, първо трябва да създадете собствен акаунт в DigitalOcean и да влезете в него. След като го направите, преминете към екипното пространство по ваш избор. Оттук ще създадем API ключ за DigitalOcean. Това ще ни помогне да създадем нашия токен за достъп до модела по-късно, така че всъщност можем да пропуснем тази стъпка и да преминем към секцията „Стъпка 2б: Създаване на ключ за достъп до модела с облачната конзола“.
Използвайте навигационната лента отляво на началната страница и превъртете надолу, докато видите “API ”. Кликнете, за да отворите началната страница на API-то. След това можем да използваме бутона в горния десен ъгъл, за да създадем нов ключ.
На страницата за създаване на ключ, назовете ключа по необходимост и дайте подходящи разрешения. За да направите това, или дайте пълно разрешение, или превъртете надолу до “genai ” в избора на персонализирани обхвати и изберете всички. След това, създайте ключа. Запазете тази стойност за по-късно.
Стъпка 2A: Създайте ключ за достъп до модела с API
Следващата стъпка е да създадем ключ за достъп до модела за безсървърно инфериране на GradientAI. За целта можем да използваме или конзолата, или API. За да използвате API, използвайте запазения API ключ от по-рано с следната curl команда в терминала. Заменете стойността за "$DIGITALOCEAN_TOKEN" с вашия собствен.
curl -X POST -H 'Authorization: Bearer $DIGITALOCEAN_TOKEN' https://api.linux-console.net/v2/gen-ai/models/api_keys
Това ще изведе нашия ключ за достъп до модела. Запишете тази стойност за по-късно. Ще ни е необходима, за да запитаме модела.
Стъпка 2Б: Създайте ключ за достъп до модела с Cloud Console
Ако искаме да използваме конзолата, просто отидете на раздела на платформата GradientAI „Безсървърно заключване“ в Конзолата. След като стигнете там, използвайте бутона в долния десен ъгъл, за да „Създадете ключ за достъп до модела“.
След това, всичко, което трябва да направим, е да зададем име на нашия ключ. Запазете изходната стойност за по-късно! Ще ни е необходима за Безсървърен извод с Python.
Стъпка 3: Генериране на текст с Python и безсървърно извеждане
С нашия нов достъпен ключ за модела, можем да започнем да работим с безсървърна инференция от DigitalOcean от всяка машина с интернет достъп! Препоръчваме да работите от Jupyter Notebook. Следвайте стъпките, описани в това ръководство, за съвети относно настройването на вашата среда за тази статия.
След като вашата среда е настроена, отворете нов файл с .ipynb разширение за IPython Notebook. Използвайте кода по-долу, за да започнете да генерирате текст, като конкретно отговорите на въпроса каква е столицата на Франция. Редактирайте кода, за да отразите променената стойност на вашия API ключ на ред 5.
from openai import OpenAI
import os
client = OpenAI(
api_key= **“your_model_access_key_here”**,
base_url="https://inference.do-ai.run/v1"
)
stream = client.chat.completions.create(
model="llama3-8b-instruct",
messages=[
{
"role": "developer",
"content": "You are a helpful assistant.",
},
{
"role": "user",
"content": "What is the capital of France?",
},
],
stream=True,
max_completion_tokens=10
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
Това трябва да произведе изхода „Столицата на Франция е Париж“. Препоръчваме да промените стойностите като max_completion_tokens, за да отговарят по-добре на вашия промпт, ако е необходимо. Можем също да променим стойността на модела на ред 10 да бъде един от наличните модели, изброени в предложенията на DigitalOcean GradientAI Model. Тази зоологическа градина на модели непрекъснато се актуализира, за да отразява нарастващата индустрия, така че проверявайте редовно за актуализации.
Случаите на използване за безсерверен ИИ от DigitalOcean
Сега, когато сме настроили нашата среда за работа с Безсървърен Инференс, имаме множество възможни дейности, за които можем да използваме модела. От всичко, с което е способно голямото езиково моделиране, можем да създадем мощни агентични приложения, които се възползват от силата на AI модела. Някои възможни случаи на употреба за това включват:
- Приложения, управлявани от събития: Когато конкретно събитие задейства изпълнението на LLM, това е често срещано в агенстките случаи на употреба.
- Мащабируеми бекенд услуги: Когато инференцията на бекенда може да се наложи да се мащабира безкрайно, безсървърното решаване може да гарантира, че вашите потребители никога няма да чакат.
- Обработка на данни: партидните работи и обработката на данни могат да се извършват ефективно и ефикасно, без да изискват скъпо настрояване.
- И много повече!
Заключителни мисли
Безсървърното извеждане е истински отговор за компаниите, търсещи решения на база LLM, без необходимостта от наемане или изучаване на необходимите стъпки за разполагане на собствен сървър. С платформата GradientAI на DigitalOcean достъпът до безсървърно извеждане от мощни NVIDIA GPU стана по-лесен от всякога! Насърчаваме всички да опитат новото решение!