SonoraBangka.ID - Setelah memberikan kisi-kisinya dalam ajang CES 2023 Januari lalu, AMD pekan ini meresmikan kehadiran chip akselerator AI miliknya yang bernama Instinct MI300 Series.
Ada dua model dari lini produk untuk datacenter tersebut, yakni GPU Instinct MI300X dan APU MI300A. Keduanya dibuat dengan teknologi terkini seperti 3D stacking, 3,5D packaging, dan penggunaan chiplet.
Instinct MI300X ditujukan sebagai chip akselerator AI pesaing GPU seri H100 dari Nvidia. Sementara, Instinct MI300A yang memiliki CPU dan GPU di satu kemasan merupakan rival dari Nvidia Grace Hopper.
Instinct MI300X
Chip Instinct MI300X menggabungkan beberapa chiplet sekaligus dengan teknologi 3,5D packaging, yakni 8 chiplet GPU CDNA 3 5 nm dan 8 memory HBM3 12-Hi. Walhasil, Instinct MI300X memiliki 304 compute units, memori HBM3 192 GB, dan bandwitdh 5,3 TB per detik.
Instinct MI300X didesain untuk digunakan dalam konfigurasi 8 chip di platform generative AI AMD. Masing-masing chip terhubung lewat interkoneksi Infinity Fabric dengan throughput 896 GB per detik.
Secara keseluruhan, sistem generative AI tersebut memiliki memori HBM3 sebesar 1,5 TB serta kinerja BF16/ FP16 sebesar 10,4 Petaflops.
Dibandingkan dengan chip H100 dari Nvidia yang menjadi lawannya, AMD mengklaim bahwa Instinct MI300X memiliki kapasitas memori 2,4x lebih besar serta kinerja komputasi BF16/ FP16 1,3x lebih tinggi.
Dibanding 8 chip H100 di server HGX, 8 chip Instinct MI300X di platform server mencatat throughput 60 persen lebih besar dalam Flash Attention 2 dengan ukuran model 176 miliar parameter, serta peningkatan chat latency 40 persen di Llama 2 dengan 70 miliar parameter.
Saat disandingkan per-chip pun, AMD mengeklaim bahwa Instinct MI300X masih lebih kencang hingga 20 persen di aplikasi-aplikasi tertentu seperti Flash Attention 2 dan Llama 2.
Instinct MI300A
Dengan menggabungkan CPU dan GPU di dalam satu kemasan, Instinct MI300A merupakan APU data center pertama di dunia. Lawannya adalah Superchip Grace Hopper dari Nvidia yang menanamkan CPU dan GPU di kemasan terpisah tapi berkerja secara tandem.