Aus einem Bild ein 3D-Modell
3d-o-mat
Aus einem Foto oder einer Idee soll ein 3D-Modell werden, das man drehen, in ein Spiel setzen oder drucken kann. 3d-o-mat macht das mit KI-Modellen auf dem eigenen Mac, ohne Cloud und ohne 3D-Kenntnisse.
Funktionen
Bild hochladen und freistellen
Ein gewöhnliches Foto reicht als Vorlage, auch mit Hintergrund.
- PNG, JPEG und WebP werden angenommen.
- Hat das Bild schon Transparenz, bleibt sie; sonst entfernt rembg den Hintergrund.
- Danach wird das Bild quadratisch auf das Objekt zugeschnitten.
Bild prüfen lassen
Bevor ein Modell minutenlang rechnet, wissen, ob die Vorlage taugt.
- Gemma beurteilt, ob ein einzelnes Objekt vollständig und scharf im Bild ist, und gibt Tipps.
Bilder malen lassen
Ein Modell bekommen, auch wenn kein passendes Foto da ist.
- Aus einer Idee schreibt Gemma Bild-Prompts für eine gute Vorlage.
- img-o-mat malt ein bis vier Bilder mit FLUX.2 Klein 4B, Z-Image Turbo oder Krea 2 Turbo.
- Jedes gemalte Bild wird wie ein hochgeladenes freigestellt und behält den Vermerk, dass es KI-generiert ist.
In 3D umwandeln
Aus dem Bild wird ein Modell mit Texturen, ohne selbst zu modellieren.
- TRELLIS.2 erzeugt ein GLB mit PBR-Texturen; Textur, Flächen, Auflösung und Seed sind wählbar.
- Aufträge laufen nacheinander, der Fortschritt steht in der Liste.
- Musik aus Tonwerk hat auf dem Rechner Vorrang; ein Auftrag wartet dann und sagt, worauf.
Ansehen und herunterladen
Das Ergebnis prüfen und in Blender, Godot oder Unity weiterverwenden.
- Das Modell lässt sich im Browser drehen und als GLB herunterladen.
Skelett einsetzen
Eine Figur bewegen, statt nur eine Statue zu haben.
- SkinTokens setzt Knochen und Gewichte ein, bei Menschen mit Mixamo-Namen, sodass Mixamo-Animationen direkt passen.
- Sechs Proben (Gehen, Schlag, Tritt, Arme heben, Kniebeuge, Umfallen) zeigen im Browser, ob das Skelett sitzt.
- Die Proben lassen sich als Animationen im GLB mitnehmen, etwa in Godots AnimationPlayer.
Alles auf dem eigenen Rechner
Bilder und Modelle verlassen das Haus nicht.
- Alle Modelle laufen lokal auf einem Mac; die Dateien liegen auf einer eigenen Platte.
- Ist die Platte nicht da, nimmt die Seite nichts an.
Deutsch oder Englisch, hell oder dunkel
Die Seite in der eigenen Sprache und dem gewohnten Farbschema benutzen.
- Die Oberfläche gibt es auf Deutsch und Englisch; ohne Wahl folgt sie der Sprache des Browsers.
- Gemma prüft Bilder und antwortet in der gewählten Sprache.
- Das Farbschema ist hell, dunkel oder folgt dem System; beide Wahlen merkt sich der Browser.
Roadmap
Was als Nächstes kommt. Ein Plan, kein Versprechen.
Als Nächstes
- Lokalisierung: Meldungen und Fehlertexte des Servers auch auf Englisch
Wasserstand
Stand · Vom Bild zur bewegten Figur, jetzt auch auf Englisch
Fertig
- Bilder hochladen und automatisch freistellen
- Bilder von Gemma prüfen lassen
- Bilder aus einer Idee malen lassen, mit drei Bildmodellen zur Wahl
- Mit TRELLIS.2 in ein 3D-Modell mit Texturen umwandeln, im Browser ansehen und als GLB laden
- Ein Skelett einsetzen, mit Proben im Browser und als Animationen im GLB
- Neue Versionen spielen sich von selbst ein, sobald kein Auftrag läuft
- Die Oberfläche auf Englisch, mit Umschalter und der Sprache des Browsers als Vorgabe
- Farbschema hell, dunkel oder nach dem System, wählbar und gespeichert
Geplant
- Meldungen und Fehlertexte des Servers auch auf Englisch
Technik
Die Website ist eine Python-App mit FastAPI und einer React-Oberfläche, die in einem Docker-Container läuft und selbst keine Daten hält. Gerechnet wird auf einem Mac mit Apple Silicon: TRELLIS.2 in MLX für Bild zu 3D, SkinTokens für das Skelett, Gemma 4 in LM Studio zum Prüfen und Prompten, img-o-mat zum Malen. Eine gemeinsame Schranke verteilt die Modelle auf dem Mac zwischen 3d-o-mat und Tonwerk, lädt sie bei Bedarf und entlädt sie nach kurzer Pause wieder.
Steckbrief
- Technik
- Python, FastAPI, React, three.js, TRELLIS.2
- Plattform
- Web; Docker in einem Proxmox-Container, Rechnen auf einem Mac mit Apple Silicon
- Lizenz
- MIT