Akselerator AMD Instinct MI300X Tersedia dalam Infrastuktur Oracle Cloud untuk Beban Aplikasi AI
Surabaya, Kabarindo- AMD mengumumkan pada Jumat (27/9/2024) bahwa Oracle Cloud Infrastructure (OCI) telah memilih akselerator AMD Instinct MI300X dengan software terbuka ROCm untuk mendukung instans OCI Compute Supercluster terbarunya yang disebut BM.GPU.MI300X.8.
Untuk model AI yang dapat mencakup ratusan miliar parameter, OCI Supercluster dengan AMD MI300X mendukung hingga 16.384 GPU dalam satu kluster dengan memanfaatkan teknologi jaringan fabrikasi ultrafast yang sama, yang digunakan oleh akselerator lain pada OCI. Dirancang untuk menjalankan beban kerja AI yang menuntut, termasuk inferensi dan pelatihan large language model (LLM) yang memerlukan throughput tinggi dengan kapasitas memori dan bandwidth terdepan, instans bare metal OCI ini telah diadopsi oleh perusahaan termasuk Fireworks AI.
“Software terbuka AMD Instinct MI300X dan ROCm terus mendapatkan momentum sebagai solusi tepercaya untuk mendukung beban kerja AI OCI yang paling penting, Seiring dengan perluasan solusi ini ke pasar yang semakin intensif AI, kombinasi ini akan menguntungkan pelanggan OCI dengan kinerja tinggi, efisiensi dan fleksibilitas desain sistem yang lebih besar,” ujar Andrew Dieckmann, Corporate vice President and General Manager, Data Center GPU Business AMD.
Donald Lu, Senior Vice President, Software Development, Oracle Cloud Infrastructure, menambahkan kemampuan inferensi akselerator AMD Instinct MI300X menambah pilihan ekstensif instans bare metal berkinerja tinggi milik OCI untuk menghilangkan beban komputasi virtual yang umum digunakan untuk infrastruktur AI.
“Kami senang dapat menawarkan lebih banyak pilihan bagi pelanggan yang ingin mempercepat beban kerja AI dengan harga yang kompetitif,” ujarnya.
Performa terpercaya dan pilihan terbuka untuk pelatihan dan Inferensi AI
AMD Instinct MI300X menjalani pengujian ekstensif yang divalidasi oleh OCI yang menggarisbawahi kemampuan inferensi dan pelatihan AI-nya untuk menghadapi kasus penggunaan latensi optimal, bahkan dengan ukuran batch yang lebih besar, dan kemampuan untuk memasukkan model LLM terbesar dalam satu node. Hasil performa Instinct MI300X ini telah menarik perhatian pengembang model AI.
Fireworks AI menawarkan platform kencang yang dirancang untuk membangun dan menerapkan AI generatif. Dengan lebih dari 100 model, Fireworks AI memanfaatkan performa yang ditemukan di OCI menggunakan AMD Instinct MI300X.
“Fireworks AI membantu perusahaan membangun dan menerapkan sistem AI gabungan di berbagai industri dan kasus penggunaan. Jumlah kapasitas memori yang tersedia pada software terbuka AMD Instinct MI300X dan ROCm memungkinkan kami untuk meningkatkan layanan kepada pelanggan seiring dengan terus berkembangnya model," ujar Lin Qiao, CEO of Fireworks AI.
Foto: istimewa
