# LangChain und LlamaIndex mit Open-Weight-Modellen

> Open-Weight-LLMs in LangChain und LlamaIndex nutzen: ChatOpenAI mit base_url, Tool-Binding, LangChain.js und OpenAILike. Pro Token mit Krypto bezahlen.

- URL: https://llmwithcrypto.com/de/docs/langchain/
- Zuletzt aktualisiert: 2026-10-23
- Herausgeber: LLMwithCrypto (https://llmwithcrypto.com)

LangChain und LlamaIndex liefern beide ein OpenAI-Chat-Modell mit, das eine benutzerdefinierte Base-URL akzeptiert. Richten Sie es auf unsere API, und jede Chain, jeder Agent und jeder Retriever, den Sie gebaut haben, funktioniert weiter – jetzt auf DeepSeek, Qwen, gpt-oss und den anderen Open-Weight-Modellen.

**Kurze Antwort — Wie nutze ich LLMwithCrypto in LangChain?**

Installieren Sie `langchain-openai` und erstellen Sie `ChatOpenAI(model="deepseek-v4-pro", base_url="https://llmwithcrypto.com/api/v1", api_key=…)`. **LLMwithCrypto** spricht das OpenAI-Chat-Format, daher funktionieren `invoke`, Streaming und `bind_tools` wie bei OpenAI, auf den Modellen, die Tools unterstützen. LlamaIndex nutzt `OpenAILike` mit derselben Base-URL. Dokumentiert am 23. Oktober 2026.

## Welche Klasse verwenden

| Attribut | Wert |
| --- | --- |
| LangChain (Python) | `ChatOpenAI` aus `langchain-openai`, mit `base_url` |
| LangChain.js | `ChatOpenAI` aus `@langchain/openai`, mit `configuration.baseURL` |
| LlamaIndex | `OpenAILike` aus `llama-index-llms-openai-like`, mit `api_base` und `is_chat_model=True` |
| Modell-IDs | Auf der [Seite „Modelle“](https://llmwithcrypto.com/de/models/) |

## Wie richte ich ChatOpenAI ein?

Übergeben Sie die Basis-URL und den Key beim Erstellen des Modells. Wenn Sie `max_tokens` setzen, schreibt kein Schritt einer Chain oder eines Agenten mehr, als Sie bezahlen möchten; das `usage_metadata` der Antwort zeigt die Tokens jedes Aufrufs.

*LangChain: ChatOpenAI auf DeepSeek V4 Pro*

```python
import os

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="deepseek-v4-pro",
    base_url="https://llmwithcrypto.com/api/v1",
    api_key=os.environ["LLMWITHCRYPTO_API_KEY"],
    max_tokens=300,
    temperature=0.3,
)
reply = llm.invoke("Explain what a vector database is in two sentences.")
print(reply.content)
print(reply.usage_metadata)

```

## Funktionieren Tools und Agenten?

Ja, bei den Modellen, die Tool Calling unterstützen. Streaming funktioniert bei jedem Modell; Tool Calling und JSON-Ausgabe richten sich nach dem, was das jeweilige Modell selbst unterstützt. `bind_tools` sendet Ihre Tools im OpenAI-Format; testen Sie Ihr Schema mit dem gewählten Modell, bevor Sie sich darauf verlassen. LangGraph-Agenten, die auf `ChatOpenAI` aufbauen, funktionieren genauso.

*LangChain: ein an gpt-oss-120b gebundenes Tool*

```python
import os

from langchain_core.tools import tool
from langchain_openai import ChatOpenAI


@tool
def convert_currency(amount: float, rate: float) -> float:
    """Convert an amount with an exchange rate."""
    return round(amount * rate, 2)


llm = ChatOpenAI(
    model="gpt-oss-120b",
    base_url="https://llmwithcrypto.com/api/v1",
    api_key=os.environ["LLMWITHCRYPTO_API_KEY"],
)
llm_with_tools = llm.bind_tools([convert_currency])
msg = llm_with_tools.invoke("How much is 250 at a rate of 0.92?")
for call in msg.tool_calls:
    print(call["name"], call["args"], "->", convert_currency.invoke(call["args"]))

```

## Und aus JavaScript?

LangChain.js nimmt die Basis-URL in `configuration` an und reicht sie an den darunterliegenden OpenAI-Client weiter.

*LangChain.js: ChatOpenAI mit einer baseURL*

```javascript
import { ChatOpenAI } from '@langchain/openai';

const llm = new ChatOpenAI({
  model: 'qwen3-235b-a22b-instruct-2507',
  apiKey: process.env.LLMWITHCRYPTO_API_KEY,
  configuration: { baseURL: 'https://llmwithcrypto.com/api/v1' },
  maxTokens: 300,
});
const reply = await llm.invoke('Give me a three-step plan to learn SQL.');
console.log(reply.content);

```

## Wie verwende ich es in LlamaIndex?

Verwenden Sie `OpenAILike`, das Modellnamen nicht gegen OpenAIs Liste prüft. Setzen Sie `is_chat_model=True`, damit Chat-Nachrichten gesendet werden, und geben Sie das Kontextfenster des Modells an, damit LlamaIndex seine Prompts dimensionieren kann: DeepSeek V4.1 Flash liest laut Stand vom 23. Oktober 2026 bis zu 1M Tokens; das Beispiel setzt bewusst ein kleineres Fenster, um die Prompts kurz zu halten.

*LlamaIndex: OpenAILike auf DeepSeek V4.1 Flash*

```python
import os

from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="deepseek-v4.1-flash",
    api_base="https://llmwithcrypto.com/api/v1",
    api_key=os.environ["LLMWITHCRYPTO_API_KEY"],
    is_chat_model=True,
    context_window=131072,
    max_tokens=300,
)
print(llm.complete("Name three uses of a knowledge graph."))

```

## Wie halte ich die Agentenkosten unter Kontrolle?

Ein Agent ruft das Modell pro Aufgabe viele Male auf: einmal zum Planen, einmal pro Tool-Ergebnis, einmal zum Antworten. Jeder Aufruf sendet die gesamte Unterhaltung erneut, sodass die Eingabe mit jedem Schritt wächst.

- **Begrenzen Sie jeden Aufruf** mit `max_tokens` und den gesamten Lauf mit einer maximalen Anzahl von Schritten.
- **Verwenden Sie ein kleines Modell, wo es reicht.** Stand 23. Oktober 2026 kostet gpt-oss-20b $0.033 pro Million Eingabe-Tokens gegenüber $1.254 für DeepSeek V4 Pro: Leiten Sie einfache Schritte an das kleine Modell und behalten Sie das große für die finale Antwort.
- **Kürzen Sie den Verlauf** in langen Unterhaltungen oder fassen Sie alte Runden zusammen.
- **Behalten Sie das Guthaben im Blick** mit `GET https://llmwithcrypto.com/api/v1/credits` vor großen Läufen.

Das Dashboard listet jeden Aufruf mit seinen Tokens und seinen Kosten auf, was schnell zeigt, welcher Schritt einer Chain der teure ist.

## Frameworks: häufige Fragen

### Kann ich Modelle in einer Chain mischen?

Ja: Erstellen Sie ein `ChatOpenAI` pro Modell, zum Beispiel ein günstiges für das Routing und ein großes für die finale Antwort. Alle verbrauchen dasselbe Guthaben.

### Funktionieren Embeddings?

Nein. Die API bietet nur Chat Completions; verwenden Sie Ihr bestehendes Embedding-Modell daneben.

### Was zahle ich für einen Agentenlauf?

Jeden Modellaufruf des Laufs, pro Token. Sie zahlen pro Token aus Ihrem Guthaben: Input- und Output-Tokens werden mit dem eigenen Tokenizer des Modells gezählt und zum Preis des Modells pro 1M Tokens berechnet. Ein Aufruf, der mit einem Fehler endet, kostet nichts. Die Preise pro Modell stehen auf der [Preisseite](https://llmwithcrypto.com/de/pricing/).

---

LLMwithCrypto: LLMwithCrypto ist eine OpenAI-kompatible LLM-API für Open-Weight-Modelle — DeepSeek V4 Pro, DeepSeek V4.1 Flash, DeepSeek R1, Qwen3.5 397B A17B, Qwen3 235B A22B Instruct, gpt-oss-120b, gpt-oss-20b, GLM-4.7, Llama 3.3 70B Instruct, Gemma 4 31B, Mistral Large 3, Mistral Small 4 — pro Token aus einem vorausbezahlten Krypto-Guthaben bezahlt, 5 % unter dem Medianpreis der öffentlichen Hosts. Ohne KYC: kein Ausweis, kein Selfie, keine Dokumente. Prompts und Ausgaben werden nicht gespeichert.