UBOS Community: Dmytro

How to work with Chroma DB

Dmytro — Fri, 20 Oct 2023 07:16:26 +0000

Chroma, a powerful and versatile database management system, has become a cornerstone in the world of data storage and retrieval. In this article, we will demonstrate how to connect Chroma and how to use it in UBOS.

Connect (initial) to the Chroma Client

In the "function" node, you need to install two npm libraries: chromadb and openai.

To initialize the Chrome client, you need to input the following code:

const { ChromaClient } = chromadb;
const { OpenAIEmbeddingFunction } = chromadb; //Chroma provides a convenient wrapper around OpenAI's embedding API. This embedding function runs remotely on OpenAI's servers, and requires an API key. You can get an API key by signing up for an account at OpenAI.
const embedder = new OpenAIEmbeddingFunction({ openai_api_key: "your API Key" })
const client = new ChromaClient({ path: "path to your chroma Cient " }); //for example your client stored somewhere on Amazon, your path will be like: 'https://www.amazon.com/:8000'

After connecting the client, you will have access to the following methods:

Create Collection

const { ChromaClient } = chromadb;
const { OpenAIEmbeddingFunction } = chromadb;
const embedder = new OpenAIEmbeddingFunction({ openai_api_key: "your API Key" })
const client = new ChromaClient({ path: "path to your chroma Cient " }); 
const collection = await client.createCollection({ name: 'Your collection name', embeddingFunction: embedder })
return msg;

After creating a collection, you need to call the getCollection method each time to work with it.

Get Collection

const { ChromaClient } = chromadb;
const { OpenAIEmbeddingFunction } = chromadb;
const embedder = new OpenAIEmbeddingFunction({ openai_api_key: "your API Key" })
const client = new ChromaClient({ path: "path to your chroma Cient " }); 
const collection = await client.getCollection({ name: 'Your collection name' })

Before writing data, you need to send it for embedding creation.
Data which you get after embedding write to the variable msg.emb

Insert data to collection (collection.add)

const { ChromaClient } = chromadb;
const { OpenAIEmbeddingFunction } = chromadb;
const embedder = new OpenAIEmbeddingFunction({ openai_api_key: "your API Key" })
const client = new ChromaClient({ path: "path to your chroma Cient " }); 
const collection = await client.getCollection({ name: 'Your collection name' })
const create =await collection.add({
    ids: [`your vectors id`], 
    embeddings:msg.emb,  
    metadatas: ['your custom metadata'],
    documents:'your document name'
})

Before getting data from collection, you need to send user request for embedding creation.
Data which you get after embedding write to the variable msg.emb

Get data from collection (collection.query)

const { ChromaClient } = chromadb;
const { OpenAIEmbeddingFunction } = chromadb;
const embedder = new OpenAIEmbeddingFunction({ openai_api_key: "your API Key" })
const client = new ChromaClient({ path: "path to your chroma Cient " }); 
const collection = await client.getCollection({ name: 'Your collection name' })
const result = await collection.query({    
    queryEmbeddings:msg.emb,
    query_text: 'user request',      
    nResults: 2    // count of items which get on result
})

Usage Example:

In this flow, we passed the user's question "Who was your mother?" to create a vector (embedding) and after this embedding, a query was made in the shevchenko collection in ChromaDB, and the resulting result was output to the msg.result variable
Example for creating embedding.

Performing a query in the shevchenko collection and processing the result.

Створення телеграм бота із інтеграцією з OpenAi

Dmytro — Thu, 01 Dec 2022 17:23:47 +0000

В даній статті описується інтеграція телеграм бота з сервісом OpenAI
Для реалізації даної інтеграції потрібно виконати три кроки:

Створити та підключитися до телеграм бота за допомогою Node-red - цей процес описано у статті Synchronization with three services via Node-red:
Зареєструвати акаунт в сервсі OpenAI та отримати апі ключ.
Створити потік в середовищі Node Red, який позволить працювати з ботом. Для створення даного потоку ми використувоєму наступні вузли:

Telegram reciever;
Telegram sender(3);
Function (4);
Http request;

Вузли telegram reiever та telegram sender відповідають лише за отримання та відправку даних в телеграм бот, в них потрібно як описано в статті вище вписати лише токен бота.

В вузлі Content validation(function) ми здійснюмо перевірку вхідних даних, по наступним критеріям :

чи повідомлення містить в собі команду '/start';
чи тип повідомлення=='message';
якщо попередні критерії не пройшли перевірку ми завжди вертаємо помилку;

У випадку якщо повідомлення містить в собі команду '/start' ми відправляємо короткий опис функціонала бота.
У випадку якщо тип повідомлення 'message' ми відправляємо дане повідомлення до серсвісу OpenAI, який у відповідь нам відправляє посилання на згенероване моделлю DALL·E зображення і ми відправляємо його у відповідь користувачу.

Вузол Content validation(function)

if (msg.payload.content.includes('/start')) {
    return [msg, null,null]
}
if (msg.payload.type == "message") { 
    return [null, msg,null]
    }
else{
    return[null,null,msg]
}

Вузол Send Instruction(function)

msg.oldpayload=msg.payload;
msg.payload={};
msg.payload.type = "message";
msg.payload.content = `Напишіть будь ласка боту вашу історію текстовим повідомлення і насолоджуйтесь отриманим зображенням=)`;
msg.payload.chatId = `${msg.oldpayload.chatId}`;
return msg;

Вузол Request to OpenAI(function)

msg.oldpayload=msg.payload;
msg.url=`https://api.openai.com/v1/images/generations`;
msg.method="POST";
msg.headers={
'Content-Type': 'application/json',
    'Authorization': env.get("secret_key") /* Ваш Апі Ключ */
}
msg.payload={
    "prompt": msg.oldpayload.content,
    "n": 1,
    "size": "1024x1024"
}

return msg;

Вузол Content Validation failed(function)

msg.oldpayload=msg.payload;
msg.payload={};
msg.payload.type = "message";
msg.payload.content = `Error: you can send only text messages`;
msg.payload.chatId = `${msg.oldpayload.chatId}`;
return msg;

Вузол Send Response(function)

if (msg.statusCode==200){
msg.payload.type = "message";
msg.payload.content = `<a href="${msg.payload.data[0].url}">image link</a>`;

msg.payload.chatId = `${msg.oldpayload.chatId}`;
msg.payload.options = { parse_mode: "HTML" };
}else{
    msg.payload.type = "message";
    msg.payload.content = `${msg.payload.error.message}`;
    msg.payload.chatId = `${msg.oldpayload.chatId}`;

}
return msg;

Телеграм бота можна знайти в телеграмі за посиланням UBOS.OPEN AI

Приклади використання: