Ollama mit nicht offiziell unterstützter AMD-Grafikkarte nutzen – so habe ich meine RX 6700 XT unter Windows 11 zum Laufen gebracht

Ollama ist eine der interessantesten Möglichkeiten, große Sprachmodelle lokal am eigenen PC laufen zu lassen. Besonders spannend wird es dann, wenn man vorhandene Hardware nutzen möchte, statt extra neue Komponenten kaufen zu müssen. Genau hier bin ich bei meiner AMD Radeon RX 6700 XT an ein Problem gestoßen: Die Grafikkarte wird für Ollama unter Windows offiziell nicht sauber unterstützt. Trotzdem konnte ich sie mit einem funktionierenden Workaround erfolgreich nutzen.

In diesem Beitrag zeige ich, wie ich Ollama trotz offiziell nicht unterstützter AMD-GPU unter Windows 11 zum Laufen gebracht habe, welche Hürden es gab und worauf man bei der Einrichtung achten muss.

Warum Ollama mit manchen AMD-Grafikkarten nicht direkt funktioniert

Wer Ollama mit AMD-Grafikkarte unter Windows 11 nutzen möchte, merkt schnell, dass nicht jede Radeon-GPU sofort problemlos unterstützt wird. Bei manchen Modellen läuft Ollama zwar grundsätzlich, verwendet aber nur die CPU statt der Grafikkarte. Genau das war bei meiner AMD Radeon RX 6700 XT zunächst der Fall.

Typische Anzeichen dafür sind:

• Ollama startet und Modelle lassen sich laden
• die Antworten sind aber deutlich langsamer als erwartet
• die GPU-Auslastung bleibt niedrig
• das Modell läuft praktisch nur über die CPU

Gerade wenn man lokale KI produktiv einsetzen will, etwa für Texterstellung, E-Mails oder Automatisierungen, ist das natürlich nicht ideal.

Mein Ausgangspunkt: RX 6700 XT mit Ollama unter Windows 11

Mein Ziel war es, Ollama lokal auf Windows 11 mit einer AMD RX 6700 XT zu betreiben. Besonders interessant war das für lokale KI-Anwendungen ohne Cloud, also direkt am eigenen Rechner. Gerade für Datenschutz, Geschwindigkeit und Unabhängigkeit ist das eine sehr spannende Lösung.

Das eigentliche Problem war schnell gefunden: Ollama lief zwar, aber die GPU wurde nicht korrekt verwendet. Stattdessen wurde nur die CPU genutzt. Für kleine Tests ist das noch machbar, für den Alltag aber zu langsam.

Nicht offiziell unterstützt bedeutet nicht automatisch unmöglich

Viele Nutzer gehen davon aus, dass eine fehlende offizielle Unterstützung automatisch bedeutet, dass die Hardware gar nicht genutzt werden kann. In der Praxis stimmt das aber nicht immer. Gerade bei AMD-Grafikkarten gibt es immer wieder funktionierende Workarounds, mit denen sich auch nicht offiziell unterstützte GPUs für Ollama verwenden lassen.

Bei mir war dafür eine Kombination aus mehreren Punkten entscheidend:

• eine saubere AMD-Treiberbasis
• eine funktionierende lokale Ollama-Installation
• passende Umgebungsvariablen
• korrekt gesetzter lokaler Port
• passende CORS-Freigaben
• ein funktionierendes Python-Skript für AMD

Erst das Zusammenspiel dieser Punkte hat dazu geführt, dass die RX 6700 XT mit Ollama tatsächlich nutzbar wurde.

Welche Einstellungen bei mir wichtig waren

Ein wichtiger Punkt war, dass Ollama sauber lokal erreichbar sein musste. In meinem Fall lief Ollama nicht auf dem Standardport, sondern auf einem eigenen lokalen Port. Das war wichtig, damit andere Tools und Plugins korrekt darauf zugreifen konnten.

Zusätzlich musste der Zugriff über CORS freigegeben werden, damit lokale Erweiterungen und Anwendungen korrekt mit dem Ollama-Server kommunizieren konnten. Gerade wenn man Thunderbird-Plugins oder andere lokale Programme anbinden will, ist das ein wichtiger Schritt.

Auch bestimmte Umgebungsvariablen waren relevant, damit Ollama und die AMD-Umgebung überhaupt sinnvoll zusammenspielen konnten. Solche Details entscheiden oft darüber, ob eine Grafikkarte erkannt wird oder ob am Ende wieder nur die CPU arbeitet.

Der eigentliche Durchbruch: ein Python-Skript für AMD

hier gehts zu Github

Der entscheidende Unterschied kam bei mir durch ein Python-Skript für Ollama mit AMD, das ich über GitHub gefunden habe. Erst mit diesem Workaround konnte ich meine AMD RX 6700 XT unter Windows 11 so zum Laufen bringen, dass die Nutzung mit Ollama tatsächlich funktionierte.

Vorher war das Verhalten typisch für eine problematische GPU-Erkennung: Ollama lief, Modelle konnten geladen werden, aber die eigentliche Beschleunigung über die Grafikkarte funktionierte nicht sauber. Nach dem Einsatz des passenden Skripts war klar, dass auch eine offiziell nicht unterstützte AMD-GPU in der Praxis funktionieren kann.

So prüfst du, ob Ollama wirklich die GPU nutzt

Wer Ollama mit AMD-GPU unter Windows einrichtet, sollte sich nie nur darauf verlassen, dass ein Modell startet. Entscheidend ist, ob die Grafikkarte wirklich genutzt wird. Nur dann bringt die lokale KI-Beschleunigung auch den gewünschten Vorteil bei Geschwindigkeit und Reaktionszeit.

Wenn dein Modell zwar läuft, aber die Antwortgeschwindigkeit niedrig bleibt, solltest du immer kontrollieren, ob tatsächlich die GPU aktiv ist oder ob die Ausführung weiterhin nur über die CPU erfolgt.

Typische Fehlerquellen bei Ollama mit AMD

Bei der Einrichtung solcher Workarounds gibt es einige Punkte, die schnell übersehen werden:

• Ollama läuft gar nicht im Hintergrund
• der falsche Port wurde im Plugin oder Tool eingetragen
• CORS wurde nicht korrekt freigegeben
• Umgebungsvariablen wurden geändert, aber Ollama nicht neu gestartet
• das verwendete Python-Skript passt nicht sauber zum System
• die GPU wird teilweise erkannt, fällt aber intern auf CPU zurück

Gerade unter Windows 11 mit AMD Radeon Grafikkarten lohnt es sich daher, Schritt für Schritt vorzugehen und nach jeder Änderung erneut zu testen.

Für wen sich dieser Workaround lohnt

Dieser Weg lohnt sich besonders dann, wenn bereits eine leistungsfähige AMD-Grafikkarte vorhanden ist und man Ollama lokal mit bestehender Hardware nutzen möchte. Statt sofort neue Hardware zu kaufen, kann es sich lohnen, das vorhandene System mit den richtigen Einstellungen und einem funktionierenden Workaround zu optimieren.

Besonders interessant ist das für:

• lokale KI-Nutzung im Unternehmen
• E-Mail-Assistenz mit lokalen Modellen
• Textgenerierung ohne Cloud
• Automatisierungen im Alltag
• Datenschutzfreundliche KI-Lösungen

Lokale KI mit AMD in Österreich

Gerade für Nutzer in Österreich, die lokale KI-Anwendungen direkt auf dem eigenen PC betreiben möchten, ist ein funktionierendes Ollama-Setup mit AMD-Grafikkarte besonders interessant. Wer im Raum Kapfenberg, in der Steiermark oder generell in Österreich einen leistungsfähigen Rechner für lokale KI, Textarbeit oder produktive Anwendungen nutzt, kann mit dem richtigen Know-how viel aus bestehender Hardware herausholen.

Nicht immer ist sofort neue Hardware nötig. Oft lässt sich mit guter Konfiguration, Erfahrung und den richtigen Workarounds deutlich mehr aus einer vorhandenen AMD-GPU machen, als man anfangs denkt.

Fazit: RX 6700 XT mit Ollama kann funktionieren

Mein Test hat gezeigt: Ollama mit RX 6700 XT unter Windows 11 ist trotz fehlender offizieller Unterstützung nicht automatisch ausgeschlossen. Mit dem passenden Python-Skript, den richtigen Einstellungen und etwas technischem Feingefühl ließ sich die Karte in meinem Fall erfolgreich verwenden.

Wichtig ist dabei, realistisch zu bleiben: Es handelt sich um einen Workaround und nicht um eine offizielle Standardlösung. Wer aber bereit ist, etwas zu testen und die nötigen Einstellungen sauber umzusetzen, kann auch mit einer eigentlich nicht freigegebenen AMD-Grafikkarte Erfolg haben.

Wenn du Unterstützung bei Ollama, lokalen KI-Setups, AMD-Grafikkarten, Windows 11 oder individueller PC-Hardware in Österreich brauchst, bist du bei Zerry Computers genau richtig.