MissionDetection – NVIDIA baru saja merilis TensorRT Model Connect (TRTMC) dalam versi prabuka, sebuah proyek sumber terbuka yang memungkinkan pengguna untuk mengintegrasikan model dari checkpoint Hugging Face atau lokal ke dalam inferensi TensorRT secara langsung. Inovasi ini tidak memerlukan langkah ekspor ONNX sebagai perantara. Proyek ini menghasilkan artefak berformat .bundle yang dapat dijalankan melalui API tugas C++, sehingga inferensi dapat dilakukan dalam berbagai aplikasi, termasuk layanan C++, aplikasi ter嵌, atau stack robotika tanpa membutuhkan PyTorch sebagai jalur waktu proses.
Inovasi dalam Inferensi AI
TensorRT Model Connect menawarkan cara baru bagi pengembang untuk menghubungkan model AI dengan aplikasi mereka. Proyek ini dirancang sebagai alternatif terhadap rute konvensional yang melibatkan beberapa langkah konversi dan integrasi. Dengan TRTMC, pengguna cukup menjalankan dua perintah untuk membangun dan menjalankan model, yang secara signifikan mempercepat proses tersebut dan mengurangi kompleksitas.
Komponen Utama dari TRTMC
Salah satu keunggulan utama dari TRTMC adalah penghapusan langkah ekspor ONNX, yang sering kali menjadi titik masalah dalam proses konversi model AI. Dengan pendekatan baru ini, semua proses mulai dari resolusi checkpoint hingga pembangunan engine TensorRT dilakukan dalam satu sistem. Ini menghasilkan artefak berformat .bundle yang berfungsi sebagai batas antara lingkungan pembangunan Python dan aplikasi C++ native.
Penerapan dan Ketersediaan
Berdasarkan informasi yang tersedia, TRTMC saat ini ditujukan khusus untuk sistem Linux aarch64 dengan Python versi 3.10 atau 3.12 serta TensorRT 11.1.0.106. Saat ini, tidak ada dukungan resmi untuk pengguna x86_64, sehingga mereka perlu menggunakan jalur sumber Docker untuk membangun sistem mereka. Proyek ini sangat cocok untuk tim di perusahaan yang sudah memiliki stack inferensi, seperti startup yang menggunakan produk NVIDIA, perusahaan robotika, dan perusahaan otomotif.
Industri Target dan Aplikasi
TRTMC ditujukan untuk beragam industri, termasuk robotika dan mesin otonom, inspeksi industri, perangkat medis, serta sistem pertahanan dan aerospace. Dengan memfasilitasi inferensi di dalam biner C++ daripada server Python, TRTMC memungkinkan aplikasi seperti generasi teks, pengenalan dan sintesis suara, serta pemrosesan gambar di perangkat terdepan.
Kesimpulan
Inovasi yang dibawa oleh TensorRT Model Connect sangat signifikan dan menjadi perhatian karena kemampuannya untuk menyederhanakan proses integrasi model AI ke dalam aplikasi. Dengan mengurangi langkah-langkah yang diperlukan dan menghilangkan ketergantungan pada PyTorch dalam proses inferensi, NVIDIA menunjukkan komitmennya dalam mengembangkan solusi yang lebih efisien untuk pengembang dan perusahaan di berbagai sektor. Pengembangan ini akan sangat berpengaruh di bidang AI, terutama bagi perusahaan yang sedang mencari cara-cara baru untuk menyederhanakan alur kerja mereka dalam penggunaan model-model AI yang kompleks.