Musik mit lokalen KI-Modellen
Tonwerk-AI
Eine Oberfläche für Musikmodelle, die auf dem eigenen Mac mit Apple Silicon rechnen. Sie lässt sich unterwegs vom iPhone aus bedienen, über Tailscale und ohne Cloud.
78 %
Wasserstand
Stand · Songs, Stimmen, Cover und Videos laufen, einiges wartet auf den echten Mac
Fertig
- Songs mit YuE2 erzeugen, Warteschlange für alle Modelle, Bibliothek mit Sternen, Notizen, Suche und Playlists
- Songtexte mit LM Studio oder Claude, auch aus einem Foto
- Export als Logic-Pro-Projekt mit Begleitstimmen, MusicXML und MIDI
- Stems trennen und Songs mit anderer Stimme neu singen (Seed-VC)
- Export als MP3, M4A oder FLAC mit Cover und Songtext, Datensicherung in die Nextcloud
- Apps für Mac (signiert, mit Updates), iPhone und iPad über TestFlight
In Arbeit
- ACE-Step als zweites Songmodell, Singen mit SoulX-Singer, gemalte Cover, Fotovideos und Songtext mit Zeitmarken auf dem Mac mit echten Modellen prüfen
- Ein zweiter Mac als Helfer für Aufträge
Geplant
- Eine gesungene Fassung statt der Originalstimme ins Logic-Projekt übernehmen
Was es kann
- Songs erzeugen mit YuE2 und ACE-Step 1.5: Stil, Songtext und Partitur rein, Fortschritt live verfolgen, Entwürfe später in voller Qualität rendern.
- Songtexte entwerfen und überarbeiten, mit einem lokalen Modell in LM Studio oder mit Claude, auch aus einem Foto.
- Als Logic-Projekt laden: Die Partitur wird zu MIDI und einem fertigen Logic-Pro-Projekt mit Audiospur, Begleitstimmen und Klängen.
- Stimmen und Stems: Songs in Stems zerlegen, mit einer anderen Stimme neu singen lassen (Seed-VC), Audio zu MIDI mit Basic Pitch.
- Sprachlabor und Gesang: lokale Text-to-Speech-Modelle ausprobieren, Noten und Text mit SoulX-Singer singen lassen.
- Cover und Musikvideos: Cover mit lokalen Bildmodellen malen, Videos mit Analyzer, Songtext-Untertiteln und Fotos im Takt schneiden.
- Bibliothek und Player: Bewertungen, Playlists (auch offline), Benachrichtigungen, Datensicherung in die Nextcloud.
- Apps für Mac, iPhone und iPad, die denselben Server steuern.
Alles, was die Modelle erzeugen, ist maschinenlesbar als KI-erzeugt gekennzeichnet.
Technik
ASP.NET Core Minimal API (.NET 10) mit SQLite, ein Vue-3-Frontend mit PrimeVue, native Apps in SwiftUI. Die Modelle laufen als Python-Prozesse daneben (PyTorch, MLX, acestep.cpp), immer nur so viele, wie in den Speicher passen.
Anleitungen
Steckbrief
- Technik
- ASP.NET Core, Vue 3, SwiftUI, Python, MLX
- Plattform
- Mac mit Apple Silicon als Server; Browser, iPhone, iPad, Mac als Oberfläche
- Lizenz
- PolyForm Noncommercial 1.0.0