Dokumentasi · framework

LangChain dan LlamaIndex dengan model open-weight

Q: Bisakah saya mencampur model dalam satu chain?

Bisa: buat satu ChatOpenAI per model, misalnya model murah untuk routing dan model besar untuk jawaban akhir. Semuanya memakai kredit yang sama.

LangChain dan LlamaIndex sama-sama menyediakan model chat OpenAI yang menerima base URL kustom. Arahkan ke API kami dan setiap chain, agent, serta retriever yang Anda buat tetap berfungsi, kini berjalan di DeepSeek, Qwen, gpt-oss, dan model open-weight lainnya.

Terakhir diperbarui: 23 Oktober 2026 · 3 menit baca

Jawaban singkat

Bagaimana cara menggunakan LLMwithCrypto di LangChain?

Instal langchain-openai dan buat ChatOpenAI(model="deepseek-v4-pro", base_url="https://llmwithcrypto.com/api/v1", api_key=…). LLMwithCrypto berbicara dalam format chat OpenAI, sehingga invoke, streaming, dan bind_tools berfungsi seperti dengan OpenAI, pada model yang mendukung tools. LlamaIndex menggunakan OpenAILike dengan base URL yang sama. Didokumentasikan pada 23 Oktober 2026.

Class mana yang dipakai

LangChain (Python)	`ChatOpenAI` dari `langchain-openai`, dengan `base_url`
LangChain.js	`ChatOpenAI` dari `@langchain/openai`, dengan `configuration.baseURL`
LlamaIndex	`OpenAILike` dari `llama-index-llms-openai-like`, dengan `api_base` dan `is_chat_model=True`
Model id	Di halaman models

Bagaimana cara menyiapkan ChatOpenAI?

Berikan base URL dan key saat Anda membuat model. Menyetel max_tokens membuat setiap langkah dalam chain atau agent tidak menulis lebih banyak dari yang ingin Anda bayar; usage_metadata pada balasan menunjukkan token tiap panggilan.

LangChain: ChatOpenAI di DeepSeek V4 Pro

import os

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="deepseek-v4-pro",
    base_url="https://llmwithcrypto.com/api/v1",
    api_key=os.environ["LLMWITHCRYPTO_API_KEY"],
    max_tokens=300,
    temperature=0.3,
)
reply = llm.invoke("Explain what a vector database is in two sentences.")
print(reply.content)
print(reply.usage_metadata)

Apakah tool dan agent berfungsi?

Ya, pada model yang mendukung tool calling. Streaming berfungsi di setiap model; tool calling dan output JSON mengikuti apa yang didukung masing-masing model. bind_tools mengirim tool Anda dalam format OpenAI; uji schema Anda pada model yang dipilih sebelum Anda mengandalkannya. Agent LangGraph yang dibangun di atas ChatOpenAI bekerja dengan cara yang sama.

LangChain: tool yang terikat ke gpt-oss-120b

import os

from langchain_core.tools import tool
from langchain_openai import ChatOpenAI


@tool
def convert_currency(amount: float, rate: float) -> float:
    """Convert an amount with an exchange rate."""
    return round(amount * rate, 2)


llm = ChatOpenAI(
    model="gpt-oss-120b",
    base_url="https://llmwithcrypto.com/api/v1",
    api_key=os.environ["LLMWITHCRYPTO_API_KEY"],
)
llm_with_tools = llm.bind_tools([convert_currency])
msg = llm_with_tools.invoke("How much is 250 at a rate of 0.92?")
for call in msg.tool_calls:
    print(call["name"], call["args"], "->", convert_currency.invoke(call["args"]))

Dan dari JavaScript?

LangChain.js menerima base URL di dalam configuration, yang diteruskannya ke klien OpenAI di bawahnya.

LangChain.js: ChatOpenAI dengan baseURL

import { ChatOpenAI } from '@langchain/openai';

const llm = new ChatOpenAI({
  model: 'qwen3-235b-a22b-instruct-2507',
  apiKey: process.env.LLMWITHCRYPTO_API_KEY,
  configuration: { baseURL: 'https://llmwithcrypto.com/api/v1' },
  maxTokens: 300,
});
const reply = await llm.invoke('Give me a three-step plan to learn SQL.');
console.log(reply.content);

Bagaimana cara memakainya di LlamaIndex?

Gunakan OpenAILike, yang tidak mencocokkan nama model dengan daftar OpenAI. Setel is_chat_model=True agar ia mengirim chat message, dan berikan context window model supaya LlamaIndex dapat menyesuaikan ukuran prompt-nya: DeepSeek V4.1 Flash membaca hingga 1M token per 23 Oktober 2026, contoh ini sengaja menyetel window yang lebih kecil agar prompt tetap pendek.

LlamaIndex: OpenAILike di DeepSeek V4.1 Flash

import os

from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="deepseek-v4.1-flash",
    api_base="https://llmwithcrypto.com/api/v1",
    api_key=os.environ["LLMWITHCRYPTO_API_KEY"],
    is_chat_model=True,
    context_window=131072,
    max_tokens=300,
)
print(llm.complete("Name three uses of a knowledge graph."))

Bagaimana cara menjaga biaya agent tetap terkendali?

Agent memanggil model berkali-kali per tugas: sekali untuk merencanakan, sekali per hasil tool, sekali untuk menjawab. Setiap panggilan mengirim ulang seluruh percakapan, sehingga input bertambah di setiap langkah.

Batasi tiap panggilan dengan max_tokens, dan seluruh proses dengan jumlah langkah maksimum.
Pakai model kecil saat sudah cukup. Per 23 Oktober 2026, gpt-oss-20b berbiaya $0.033 per juta input token dibandingkan $1.254 untuk DeepSeek V4 Pro: arahkan langkah sederhana ke model kecil dan simpan model besar untuk jawaban akhir.
Pangkas riwayat pada percakapan panjang, atau ringkas giliran lama.
Pantau kredit dengan GET https://llmwithcrypto.com/api/v1/credits sebelum proses besar.

Dashboard mencantumkan setiap panggilan beserta token dan biayanya, yang dengan cepat menunjukkan langkah mana dalam chain yang mahal.

Framework: pertanyaan umum

Bisakah saya mencampur model dalam satu chain?

Bisa: buat satu ChatOpenAI per model, misalnya model murah untuk routing dan model besar untuk jawaban akhir. Semuanya memakai kredit yang sama.

Apakah embedding berfungsi?

Tidak. API ini hanya menyajikan chat completion; gunakan model embedding Anda yang sudah ada bersamanya.

Berapa yang saya bayar untuk satu proses agent?

Setiap panggilan model dalam proses itu, per token. Anda membayar per token dari saldo Anda: token input dan output dihitung oleh tokenizer model itu sendiri dan ditagih sesuai harga model tersebut per 1M token. Panggilan yang berakhir dengan error tidak dikenai biaya. Harga per model ada di halaman pricing.