Konsep MLflow di MotionMind Studio: Setiap Render Adalah Eksperimen

Kalau diperas, filosofinya hanya empat langkah: jangan pernah menimpa percobaan, catat semuanya, ukur hasilnya, lalu pilih secara eksplisit.

Kenapa ide ini cocok untuk video

Membuat video dengan AI agent ternyata sangat mirip dengan melatih model.

• Iterasinya banyak. Satu brief melahirkan beberapa konsep, dan satu konsep melahirkan beberapa versi: hook yang berbeda, musik yang berbeda, rasio 9:16 dan 16:9.
• Hasilnya tidak bisa ditebak dari input. Prompt yang sama ke agent yang sama bisa menghasilkan kode yang berbeda. Yang bisa dipercaya adalah file hasil render, bukan laporan agent tentang file itu.
• Ada angka yang harus lolos. Banyak platform menormalkan loudness ke sekitar −14 LUFS. Video yang terlalu keras akan dikecilkan, dan video yang terlalu pelan terdengar lemah dibanding video di sebelahnya. Bagi video, loudness adalah metrik, sama seperti akurasi bagi model.
• Ada keputusan yang harus diingat. Klien menyetujui versi 3. Dua minggu kemudian, seseorang bertanya kenapa bukan versi 5. Tanpa catatan, jawabannya hilang.

Karena masalahnya sama, solusinya bisa dipinjam.

Peta konsep

Berikut padanan setiap konsep MLflow di MotionMind, beserta tempatnya.

Bagian-bagian berikutnya membahas setiap baris.

Tracking store: satu folder, satu sumber kebenaran

MLflow menyimpan run di folder mlruns/ atau di tracking server. MotionMind menyimpannya di workspace yang dibuat oleh motionmind setup:

MotionMind mencari workspace dengan urutan ini: variabel lingkungan MOTIONMIND_STORE, lalu folder terdekat (naik dari folder saat ini) yang berisi motionmind.store.json, lalu ~/.motionmind.

Ada dua detail kecil yang penting saat agent dan Anda bekerja di workspace yang sama:

• registry.json ditulis dengan lock file dan rename atomik. Dua proses yang menulis bersamaan tidak akan merusak file.
• LOG.md di setiap campaign hanya bisa ditambah, tidak bisa diubah. Setiap log, render, promote, dan setiap kali QA dipaksa lewat tercatat di sana, lengkap dengan tanggal dan jam.

Experiment → campaign

Experiment di MLflow mengelompokkan run yang menjawab pertanyaan yang sama. Di MotionMind, pertanyaannya adalah pesan: campaign motionmind/walkthrough-30s berisi semua upaya untuk menyampaikan satu pesan kepada satu audiens.

Aturannya sederhana:

• pesan atau audiens baru berarti campaign baru;
• hook, gaya, musik, atau rasio baru untuk pesan yang sama berarti versi baru di campaign yang sama.

Campaign juga menyimpan konteks yang di tim ML biasanya hanya ada di kepala orang: TASTE.md (gaya yang dikunci di Gate 2), PROGRESS.md (sampai mana pekerjaannya), dan LOG.md. Agent membaca ketiganya sebelum melanjutkan pekerjaan, jadi sesi chat baru tidak mulai dari nol. Mengelola campaign vs versi memberi contoh kapan memilih yang mana.

Run → versi

Run di MLflow adalah satu percobaan yang tidak pernah diubah setelah selesai. Versi di MotionMind juga begitu: satu folder runs/v<N>-<slug>/ dengan run ID seperti motionmind-walkthrough-30s-v2. Versi yang sudah dirender tidak pernah ditimpa. Arah baru berarti folder v<N+1> baru, dan skill melarang agent mengedit versi lama untuk "revisi kecil".

Ada satu hal yang membuat versi video lebih kuat daripada run ML pada umumnya: versi bisa dibuka lagi. Folder src/ berisi project HyperFrames versi itu (HTML, CSS, dan GSAP), dan versi HyperFrames-nya dikunci (0.8.214 di MotionMind 0.2.0). Source yang sama dirender dengan versi engine yang sama, sehingga hasilnya bisa dibuat ulang berbulan-bulan kemudian. Di dunia ML, padanannya adalah menyimpan kode, environment, dan seed bersama setiap run. Determinisme dalam video AI menjelaskan kenapa hal ini penting.

Parameters: apa yang dipilih

Params adalah keputusan yang membedakan satu versi dari versi lain. Isinya datang dari tiga sumber:

1. Dibaca otomatis dari file. Rasio (aspect: 9:16, 16:9, atau 1:1), area aman untuk 9:16 (safe_area), dan untuk project HyperFrames juga versi HyperFrames, nama komposisi, resolusi, durasi, jumlah scene, serta variabel komposisi.
2. Field kreatif yang dikenali Studio, yaitu concept_name, hook_copy, cta_copy, palette, fonts, bpm, dan color_logic. Studio menampilkannya di panel Registry, termasuk swatch warna untuk palet.
3. Apa pun yang Anda tambahkan dengan --param kunci=nilai.

Satu tips praktis: kalau Anda ingin hook muncul di baris "Hook" pada halaman versi dan halaman compare di Studio, pakai nama kunci hook_copy, bukan hook. Kunci lain tetap tercatat di registry.json dan muncul di motionmind compare.

Metrics: apa yang terukur

Prinsip terpenting MotionMind: metrik diukur dari file, bukan dilaporkan oleh agent. Sebelum menyalin apa pun ke workspace, motionmind log menjalankan ffprobe dan filter ebur128 milik ffmpeg pada video tersebut.

Loudness hanya diukur kalau video punya track audio. Anda bisa menambahkan metrik sendiri dengan --metric kunci=angka, misalnya skor review internal. Tapi hasil ukur selalu menang: --metric integrated_lufs=-14 tidak akan menimpa loudness yang terukur, karena angka itulah yang dibaca gate QA.

Ada satu perbedaan dengan MLflow. Di MLflow, satu metrik bisa punya riwayat per step, misalnya loss di setiap epoch. Di MotionMind, setiap versi hanya punya satu nilai per metrik, karena satu versi adalah satu file. Riwayatnya terlihat dari deretan versi.

Artifacts: apa yang dihasilkan

Setiap versi menyimpan file-file berikut:

• video.mp4 beserta hash SHA-256-nya. Hash ini juga dipakai untuk mendeteksi duplikat saat autolog.
• contact-sheet.png: satu frame per detik, sepuluh frame per baris, masing-masing diberi cap waktu. Ini cara tercepat melihat seluruh video dalam satu gambar.
• breakdown.md: catatan scene per scene yang ditulis agent.
• Design board dari plan/design.html, kalau ada.
• Snapshot src/: source yang menghasilkan video itu.

Contoh nyata: dua versi, satu keputusan

Misalkan ada dua mix untuk video walkthrough MotionMind berdurasi 30 detik: mix pertama yang terlalu keras, dan mix kedua setelah dipasang limiter menuju −14 LUFS. Keduanya dicatat sebagai versi:

Perhatikan bahwa MotionMind sudah memberi peringatan sejak versi pertama dicatat: v1 terlalu keras (−11,2 LUFS) dan true peak-nya melewati batas (+1,7 dBFS), jadi tidak akan bisa masuk production. motionmind compare menunjukkan perbedaan keduanya, dan setiap baris yang berbeda ditandai ≠:

Kalau seseorang mencoba mem-promote v1, registry menolaknya:

Semua langkah itu tercatat di LOG.md campaign:

Begini bentuk entri v2 di registry.json (dipotong):

Ini file JSON biasa. Anda bisa membacanya dengan jq, memasukkannya ke spreadsheet, atau memprosesnya dengan skrip sendiri.

Studio: mlflow ui untuk render

Membaca registry.json di terminal memang bisa, tapi keputusan kreatif dibuat dengan menonton. Karena itu motionmind ui membuka Studio di http://127.0.0.1:4310. Studio hanya mendengarkan di komputer Anda sendiri dan tidak mengirim apa pun ke cloud.

All runs. Halaman utama menampilkan semua versi sebagai galeri, dengan ringkasan di atasnya: jumlah video, jumlah yang sudah production, video yang belum dicatat, dan jumlah campaign. Anda bisa memfilter galeri per campaign atau per status (Production, Staging, Archived, Not logged). Thumbnail video mulai diputar saat kursor diarahkan ke atasnya. Urutannya tetap: production lebih dulu, lalu staging, lalu yang belum dicatat, lalu archived, dan yang terbaru di atas dalam setiap kelompok.

Halaman versi. Ini padanan halaman run di MLflow, lengkap dengan player, overlay safe area 4:5 untuk video 9:16, penanda QA ✓/✗, dan panel Registry yang berisi run ID, engine, resolusi, ukuran, loudness, konsep, hook, CTA, safe area, palet, sumber, waktu dicatat, dan SHA-256. Di bawahnya ada panel Stage (lengkap dengan alasan kalau QA gagal), contact sheet, breakdown.md, design board, dan daftar file versi itu.

Untuk video 9:16, tombol di bawah player menyalakan overlay safe area 4:5 (y 285–1635), supaya terlihat apakah judul atau CTA tertutup antarmuka aplikasi di ponsel:

Compare. Pilih dua versi, lalu keduanya diputar berdampingan dan tetap sinkron: video kiri menjadi patokan waktu, dan video kanan dikoreksi setiap kali selisihnya lebih dari 1/30 detik. Di bawahnya ada tabel 14 baris (stage, engine, resolusi, FPS, durasi, LUFS, true peak, ukuran, konsep, hook, CTA, palet, variabel, sumber), dan baris yang berbeda disorot amber. Di MLflow Anda membandingkan kurva loss. Di sini Anda menonton keduanya berdampingan sambil melihat angkanya.

Campaign. Halaman campaign menampilkan PROGRESS.md, 12 baris terakhir LOG.md, TASTE.md, dan semua versinya, jadi Anda bisa melihat ceritanya dari versi pertama sampai sekarang.

Studio membaca workspace setiap kali halaman dimuat. Tidak ada database tersembunyi dan tidak ada cache yang bisa basi. Kalau agent baru saja mencatat versi, cukup muat ulang halamannya.

Model Registry → stage

Bagian inilah yang paling berpengaruh dalam keseharian. Setiap versi selalu berada di salah satu dari tiga stage:

• staging: stage default. Semua versi baru masuk ke sini dan bisa direview.
• production: versi yang dipakai, misalnya yang diunggah ke Instagram atau dikirim ke klien.
• archived: versi yang sudah pensiun. Versi ini tidak dihapus, hanya disingkirkan dari daftar utama.

MotionMind menambahkan tiga aturan yang tidak ada di MLflow standar.

1. Production harus lolos QA. Untuk video yang punya audio, production mensyaratkan integrated loudness −14 LUFS ±0,5 dan true peak paling tinggi −1 dBFS, diukur dari file. Video tanpa audio lolos, karena hening adalah pilihan yang disengaja. Anda bisa memaksa promote dengan --force di CLI atau checkbox di Studio, tapi pemaksaan itu dicatat di LOG.md bersama masalah QA yang dilewati. Skill melarang agent memakai --force kecuali Anda yang memintanya. Standar loudness −14 LUFS menjelaskan dari mana angka ini datang.

2. Satu production per rasio per campaign. Saat versi baru di-promote ke production, versi production sebelumnya dengan rasio yang sama otomatis pindah ke archived. Versi 9:16 dan 16:9 dari campaign yang sama boleh sama-sama berada di production, karena keduanya untuk tempat yang berbeda.

3. Production tidak boleh diam-diam rusak. Kalau versi production dirender ulang dan hasil barunya gagal QA, versi itu turun kembali ke staging, dan penurunannya tercatat di log.

Apa yang terjadi kalau klien berubah pikiran? Promote versi lama yang sudah diarsipkan kembali ke production (tetap dengan syarat lolos QA). Versi itu kembali dipakai, versi yang sekarang pindah ke arsip, dan semuanya tercatat. Tidak ada tombol "rollback" khusus, karena promote sudah cukup untuk itu.

Autolog → motionmind track

mlflow.autolog() ada karena orang lupa mencatat. Hal yang sama terjadi pada editor video. Kalau Anda bekerja di HyperFrames Studio, Premiere, CapCut, atau aplikasi lain yang mengekspor MP4, cukup arahkan MotionMind ke folder project atau folder export-nya:

Selama motionmind ui atau motionmind watch berjalan, MotionMind memeriksa folder itu setiap dua detik. Setiap render baru dicatat sebagai versi staging, lengkap dengan hasil ukurnya. Render HyperFrames baru diambil setelah file .meta.json-nya menyatakan render selesai, sekaligus memberi metrik render_ms. File dari editor lain baru diambil setelah tiga detik tidak berubah, supaya file yang masih ditulis tidak tercatat setengah jadi. File yang isinya sama persis dengan versi yang sudah ada (dicek lewat hash) dilewati. Panduan lengkapnya ada di tracking render dari aplikasi lain.

Agent sebagai data scientist yang disiplin

Di tim ML, MLflow hanya berguna kalau orang benar-benar mencatat run mereka. Di MotionMind, yang mencatat adalah agent, dan skill membuatnya disiplin:

• "Record before you say done." Agent tidak boleh bilang sebuah versi selesai sebelum versi itu dicatat dengan motionmind log.
• Production adalah keputusan Anda. Agent mencatat versi sebagai staging dan baru menjalankan promote --stage production setelah Anda setuju di Gate 4.
• Arah baru berarti versi baru, bukan menimpa folder lama.
• Edit lock dihormati. Selama Anda mengedit sebuah versi di HyperFrames Studio, ada file .editing.json yang memberi tahu agent untuk tidak menyentuh file itu.
• Revisi audio berbasis angka. Kalau loudness meleset, agent menyesuaikan gain sebesar selisih LUFS yang terukur, lalu merender ulang. Tidak ada tebak-tebakan.

Hasilnya, registry Anda tetap rapi meskipun ada puluhan versi dari beberapa sesi chat yang berbeda. Alur lengkapnya ada di alur kerja empat gate.

Yang sengaja tidak kami pinjam (setidaknya belum)

MLflow adalah platform besar, sementara MotionMind sengaja dibuat kecil. Supaya ekspektasinya jelas, ini yang tidak ada di MotionMind 0.2.0:

• Tag per versi. Belum ada. Gunakan --param atau --notes untuk label bebas.
• Nested run dan lineage. Tidak ada field "parent". Silsilah sebuah versi terlihat dari nomor urutnya, field source (dari mana file itu berasal), snapshot src/, dan LOG.md.
• Grafik metrik. Tidak ada chart. Untuk video, perbandingan dua versi yang diputar berdampingan ternyata lebih berguna daripada kurva.
• Alias bebas seperti "champion". Yang ada hanya tiga stage tetap, dan sejauh ini itu sudah cukup untuk alur review dengan klien.
• Menghapus versi. Tidak ada perintah delete. Versi lama diarsipkan, bukan dihapus.
• Tracking server bersama. Semuanya lokal. Satu workspace adalah satu folder di komputer Anda, dan Studio hanya mendengarkan di 127.0.0.1.

Kalau salah satu hal di atas penting untuk alur kerja Anda, ceritakan di GitHub Issues.

Coba sendiri

Anda butuh Node.js 22 atau lebih baru, serta ffmpeg dan ffprobe di PATH.

Lalu, di terminal kedua pada folder yang sama, catat video apa pun yang sudah Anda punya:

Muat ulang Studio, dan video Anda sudah ada di sana, lengkap dengan hasil ukurnya. Kalau loudness-nya meleset dari −14 LUFS, Anda juga akan langsung tahu.

MLflow mengajarkan para data scientist untuk berhenti menimpa eksperimen. MotionMind mencoba mengajarkan hal yang sama kepada agent yang membuat video Anda: setiap render adalah percobaan, setiap percobaan dicatat, dan versi yang dipakai selalu dipilih secara sadar, oleh Anda.