Pelanggan Amazon FSx for Lustre

Adobe didirikan 40 tahun yang lalu dengan ide sederhana untuk menciptakan produk inovatif yang mengubah dunia, Adobe menawarkan teknologi inovatif yang memberdayakan semua orang di mana pun untuk berimajinasi, berkreasi, dan mewujudkan pengalaman digital apa pun.

Tantangan: Alih-alih mengandalkan model sumber terbuka, Adobe memutuskan untuk melatih model AI generatif dasarnya sendiri yang dirancang untuk kasus penggunaan kreatif.

Solusi: Adobe menciptakan AI superhighway di AWS untuk membangun platform pelatihan AI dan alur data untuk melakukan iterasi model dengan cepat. Adobe membangun solusinya dengan instans Amazon Elastic Compute Cloud (Amazon EC2) P5 dan P4d yang ditenagai oleh GPU NVIDIA, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Block Store (Amazon EBS), dan Amazon Elastic Fabric Adapter (EFA). Adobe juga menggunakan Amazon Simple Storage Service (Amazon S3) yang berfungsi sebagai danau data dan repositori utama untuk kumpulan data yang luas. Adobe menggunakan penyimpanan file beperforma tinggi Amazon FSx for Lustre, untuk akses cepat ke data dan memastikan sumber daya GPU tidak pernah diam.

LG AI Research Bersama dengan para ahli AI terkemuka di dunia, LG AI Research bertujuan untuk memimpin era AI berikutnya guna mewujudkan masa depan yang menjanjikan bersama Anda dengan menyediakan lingkungan penelitian yang optimal dan memanfaatkan teknologi AI yang canggih.

Tantangan: LG AI Research perlu melakukan deployment model fondasinya, EXAONE, ke produksi dalam waktu satu tahun. EXAONE, yang merupakan singkatan dari “expert AI for everyone” (ahli AI untuk semua orang), adalah model multimodal dengan 300 miliar parameter yang menggunakan gambar dan data teks.

Solusi: LG AI Research menggunakan Amazon SageMaker untuk melatih model fondasi skala besarnya dan Amazon FSx for Lustre untuk mendistribusikan data ke dalam instans guna mempercepat pelatihan model. LG AI Research perlu melakukan deployment model fondasinya, EXAONE, ke produksi dalam waktu satu tahun. LG AI Research berhasil melakukan deployment EXAONE dalam waktu satu tahun, dan mengurangi biaya sekitar 35 persen dengan menghilangkan kebutuhan untuk tim manajemen infrastruktur terpisah.

Paige adalah penyedia transformasi patologi digital terkemuka, yang menawarkan solusi berbasis web skala penuh dan mendukung AI, serta menghadirkan efisiensi dan keyakinan untuk diagnosis kanker.

Tantangan: Solusi on-premise Paige sudah maksimal. Tujuan mereka adalah untuk melatih model AI dan ML untuk membantu patologi kanker. Paige menemukan bahwa semakin banyak kapasitas komputasi yang mereka miliki, semakin cepat mereka dapat melatih model dan membantu memecahkan masalah diagnostik.

Solusi: Untuk menjalankan beban kerja pelatihan ML mereka, Paige memilih Instans P4d Amazon EC2, yang didukung oleh NVIDIA A100 Tensor Core GPU, serta menghadirkan performa tinggi untuk pelatihan ML dan aplikasi HPC di cloud. Paige menggunakan Amazon FSx for Lustre, penyimpanan bersama yang terkelola penuh dan dibangun di atas sistem file performa tinggi yang populer. Perusahaan menghubungkan layanan ini dengan beberapa bucket Amazon S3 miliknya, yang membantu tim pengembangannya menangani petabita data input ML tanpa melakukan prestaging data secara manual pada sistem file performa tinggi. Hasil dari solusi AWS adalah Paige dapat melatih 10x jumlah data on-premise menggunakan infrastruktur AWS untuk ML.  Paige juga mengalami alur kerja internal 72% lebih cepat dengan Amazon EC2 dan Amazon FSx for Lustre. 

Toyota Research Institute memilih FSx for Lustre untuk mengurangi waktu pelatihan machine learning untuk pengenalan objek.

Toyota Research Institute (TRI) mengumpulkan dan memproses sejumlah besar data sensor dari uji coba kendaraan otonom (AV) mereka. Setiap set data pelatihan dilakukan secara bertahap di perangkat NAS on-premise dan ditransfer ke Amazon Simple Storage Service (Amazon S3) sebelum diproses di klaster komputasi GPU yang tangguh. TRI membutuhkan sistem file performa tinggi untuk dipasangkan dengan sumber daya komputasi mereka, yang mempercepat pelatihan model ML, dan mempercepat wawasan untuk ilmuwan data mereka.

Shell menawarkan portofolio pilihan energi yang dinamis–mulai dari minyak, gas dan petrokimia, hingga angin, tenaga surya, serta hidrogen–Shell bangga dapat memasok energi yang dibutuhkan pelanggannya untuk memenuhi kebutuhan hidup mereka. 

Tantangan: Shell mengandalkan HPC untuk pembuatan model, pengujian, dan validasi. Dari tahun 2020 hingga 2022, pemanfaatan GPU rata-rata kurang dari 90%, yang mengakibatkan penundaan proyek dan keterbatasan pada eksperimen algoritma baru.

Solusi: Shell meningkatkan kapasitas komputasi on-premise mereka dengan melakukan lompatan ke cloud menggunakan klaster Amazon EC2 dan Amazon FSx for Lustre. Solusi ini memberi Shell kemampuan untuk menaikkan dan menurunkan skala dengan cepat, serta hanya membeli kapasitas komputasi tambahan saat diperlukan. Sekarang, GPU Shell dimanfaatkan sepenuhnya untuk mengurangi biaya komputasi, dan mempercepat pengujian model machine learning.

Storengy, anak perusahaan dari ENGIE Group, adalah pemasok gas alam terkemuka. Perusahaan ini menawarkan penyimpanan gas, solusi panas bumi, produksi energi bebas karbon, dan teknologi penyimpanan untuk perusahaan di seluruh dunia.

Untuk memastikan produknya disimpan dengan benar, Storengy menggunakan simulator berteknologi tinggi untuk mengevaluasi penyimpanan gas bawah tanah, sebuah proses yang memerlukan penggunaan beban kerja komputasi performa tinggi (HPC) secara ekstensif. Perusahaan juga menggunakan teknologi HPC untuk menjalankan tugas penemuan dan eksplorasi gas alam.

Smartronix memanfaatkan FSx for Lustre untuk menghadirkan performa tinggi yang andal untuk deployment SAS Grid mereka.

Smartronix menyediakan solusi cloud, keamanan siber, integrasi sistem, C5ISR dan analitik data di seluruh dunia, serta rekayasa yang berfokus pada misi untuk banyak organisasi komersial dan federal terkemuka dunia. Smartronix mengandalkan SAS Grid untuk menganalisis dan mengirimkan statistik harian COVID di seluruh negara bagian, serta menemukan bahwa sistem file paralel mereka yang dikelola sendiri sulit dikelola dan dilindungi.

Netflix adalah layanan streaming yang menawarkan berbagai macam acara TV pemenang penghargaan, film, anime, dokumenter, dan lainnya.

Tantangan: Netflix menggunakan pelatihan terdistribusi skala besar untuk model ML media, untuk thumbnail pasca-produksi, VFX, dan pembuatan trailer untuk ribuan video serta jutaan klip. Netflix mengalami waktu tunggu yang lama karena replikasi lintas simpul dan waktu diam GPU sebesar 40%.

Solusi: Netflix merancang ulang jalur pemuatan data mereka dan meningkatkan efisiensinya dengan melakukan pra-komputasi semua klip video/audio. Netflix juga memilih Amazon UltraClusters (instans P4d EC2) untuk mempercepat performa komputasi. Performa Amazon FSx for Lustre memungkinkan Netflix memenuhi GPU, dan hampir menghilangkan waktu diam GPU. Sekarang, Netflix mengalami peningkatan 3-4x menggunakan pra-komputasi dan FSx for Lustre, yang mengurangi waktu pelatihan model dari seminggu menjadi 1-2 hari.

Hyundai Motor Company telah berkembang menjadi produsen mobil yang diakui secara global yang mengekspor kendaraan bermereknya ke lebih dari 200 negara.

Tantangan: Salah satu algoritma yang sering digunakan dalam berkendara otonom adalah segmentasi semantik, yaitu sebuah tugas untuk menganotasi setiap piksel gambar dengan kelas objek. Kelas-kelas ini dapat berupa jalan, orang, mobil, bangunan, tumbuh-tumbuhan, langit, dll. Hyundai menguji akurasi, dan mengumpulkan gambar tambahan untuk mengoreksi performa prediktif yang tidak memadai dalam situasi tertentu. Namun, hal ini dapat menjadi sebuah tantangan, karena seringkali tidak ada cukup waktu untuk menyiapkan semua data baru sambil menyisakan waktu yang cukup untuk melatih model dan memenuhi batas waktu yang dijadwalkan.

Solusi: Hyundai memilih Amazon SageMaker untuk mengotomatiskan pelatihan model, dan pustaka Amazon SageMaker untuk paralelisme data, untuk beralih dari satu GPU ke pelatihan terdistribusi. Hyundai memilih Amazon FSx for Lustre untuk melatih model tanpa menunggu salinan data. Hyundai juga memilih Amazon S3 untuk penyimpanan data permanennya. Hyundai mencapai efisiensi penskalaan hingga 93% dengan 8 instans GPU, atau total 64 GPU. FSx for Lustre memungkinkan Hyundai menjalankan beberapa tugas pelatihan dan eksperimen terhadap data yang sama tanpa waktu tunggu.

Rivian memiliki misi untuk menjaga dunia tetap berpetualang selamanya. Kami percaya ada cara yang lebih bertanggung jawab untuk menjelajahi dunia dan bertekad untuk membuat transisi ke transportasi berkelanjutan menjadi sesuatu hal yang menarik.

Untuk memenuhi jadwal rekayasa yang dipercepat dan mengurangi kebutuhan terhadap prototipe fisik, produsen kendaraan listrik Rivian mengandalkan teknik pemodelan dan simulasi tingkat lanjut. Dengan kapasitas komputasi yang tinggi, simulasi memungkinkan para rekayasawan menguji konsep baru dan menghadirkan desain ke pasar dengan cepat.

Denso mengembangkan sensor gambar untuk sistem bantuan pengemudi canggih (ADAS), yang membantu pengemudi dengan fungsi seperti parkir dan perubahan jalur.

Tantangan: Untuk mengembangkan model ML yang diperlukan untuk pengenalan gambar ADAS, DENSO telah membangun klaster GPU di lingkungan on-premise miliknya. Namun, beberapa rekayasawan ML membagikan sumber daya GPU yang bersifat terbatas, yang memengaruhi produktivitas—terutama selama periode sibuk sebelum rilis produk baru.

Solusi: Dengan mengadopsi Amazon SageMaker dan Amazon FSx for Lustre, Denso mampu mempercepat pembuatan model pengenalan gambar ADAS dengan mengurangi waktu akuisisi data, pengembangan model, pembelajaran, serta evaluasi.

Joby Aviation menggunakan AWS untuk merevolusi transportasi.

Tantangan: Rekayasawan Joby mengandalkan komputasi performa tinggi (HPC) untuk melakukan ribuan simulasi Dinamika Fluida Komputasi (CFD) yang kompleks dan komputasi intensif yang masing-masing menggunakan ratusan inti CPU serta memerlukan waktu berjam-jam untuk menyelesaikannya.

Solusi: Menggunakan Amazon Elastic Compute Cloud (Amazon EC2) dan Amazon FSx for Lustre memungkinkan Joby mendapatkan hasil yang lebih cepat dari beban kerja CFD mereka dibandingkan dengan infrastruktur komputasi performa tinggi on-premise.

T-Mobile merealisasikan penghematan tahunan sebesar 1,5 juta USD dan menggandakan kecepatan beban kerja SAS Grid menggunakan Amazon FSx for Lustre.

Tantangan: T-Mobile mengalami overhead manajemen yang tinggi dan kesulitan dalam hal performa dengan beban kerja SAS Grid yang dikelola sendiri.

Solusi: T-Mobile melakukan deployment Amazon FSx for Lustre, sebuah sistem file performa tinggi yang terkelola penuh, untuk memigrasikan dan menskalakan infrastruktur SAS Grid mereka. T-Mobile memanfaatkan integrasi ketat Amazon FSx dan S3 untuk mengurangi overhead penyimpanan serta mengoptimalkan operasi.

Produksi musim keempat drama episodik "The Crown" di Netflix menghadapi tantangan yang tidak terduga, yaitu saat dunia dibatasi aksesnya akibat pandemi COVID-19 tepat saat pekerjaan VFX pascaproduksi dijadwalkan akan dimulai. Dengan mengadopsi alur kerja berbasis cloud di AWS, yang mencakup server file Amazon FSx Lustre untuk peningkatan throughput, tim VFX internal Netflix yang terdiri dari 10 artis dapat menyelesaikan lebih dari 600 pengambilan gambar VFX dengan lancar untuk 10 episode musim yang hanya berjalan dalam 8 bulan, semuanya dilakukan dengan bekerja dari jarak jauh. 

Maxar menggunakan AWS untuk menghadirkan prakiraan cuaca 58% lebih cepat daripada superkomputer cuacanya.

Tantangan: Maxar Technologies, partner tepercaya dan inovator dalam inteligensi Bumi dan infrastruktur Luar Angkasa, membutuhkan pengiriman prakiraan cuaca yang lebih cepat dibandingkan dengan superkomputer on-premise miliknya.

Solusi: Maxar bekerja sama dengan AWS untuk menciptakan solusi HPC menggunakan teknologi utama termasuk Amazon Elastic Compute Cloud (Amazon EC2) untuk sumber daya komputasi yang aman dan sangat andal, Amazon FSx for Lustre untuk mempercepat throughput baca/tulis aplikasinya, serta AWS ParallelCluster untuk membangun lingkungan komputasi HPC dengan cepat di AWS.

INEOS TEAM UK mempercepat desain kapal untuk Piala Amerika menggunakan AWS.

Tantangan: Dibentuk pada tahun 2018, INEOS TEAM UK bertujuan untuk menghadirkan Piala Amerika—trofi olahraga internasional tertua di dunia—ke Britania Raya. Piala Amerika membatasi pengujian di air tidak lebih dari 150 hari sebelum acara dimulai, sehingga simulasi dinamika fluida komputasi (CFD) performa tinggi dari monohull dan foil menjadi kunci kemenangan desain kapal.  

Solusi: Dengan menggunakan AWS, INEOS TEAM UK dapat memproses ribuan simulasi desain untuk kapal Piala Amerikanya dalam waktu satu minggu versus dalam waktu lebih dari sebulan menggunakan lingkungan on-premise. INEOS TEAM UK berkompetisi di Piala Amerika edisi ke-36 tahun 2021. Tim menggunakan lingkungan HPC yang berjalan di Instans Spot Amazon EC2.  Untuk memastikan performa disk yang cepat untuk ribuan simulasi yang diselesaikan setiap minggu, tim juga menggunakan Amazon FSx for Lustre untuk menghadirkan sistem file performa tinggi yang cepat, dapat diskalakan, dan aman berdasarkan Amazon Simple Storage Service (S3).

Hive VFX memangkas biaya studio di muka dan beroperasi sebagai studio VFX cloud di AWS.

Tantangan: Hive membutuhkan infrastruktur performa tinggi untuk meluncurkan studio cloud yang kecil dan independen bagi para artis jarak jauh di seluruh dunia untuk membuat konten yang berkualitas.

Solusi: Amazon FSx for Lustre yang terkelola penuh dan terintegrasi dengan Amazon S3, menyediakan akses cepat ke sumber daya komputasi AWS tanpa investasi di muka yang besar atau memiliki keahlian tim IT internal. Sinkronisasi data file dan izin file yang lancar antara FSx Lustre dan S3 memungkinkan Hive VFX untuk menyimpan gambar dalam jumlah besar serta berbagi data proyek di seluruh benua.

Lyell mempercepat penelitian pengobatan kanker berbasis sel mereka dengan Amazon FSx for Lustre.

Tantangan: Lyell memberikan pengobatan kanker kuratif berbasis sel yang membutuhkan desain komputasi protein skala besar. Beban kerja ini biasanya dijalankan di lingkungan on-premise, tetapi perusahaan membutuhkan solusi yang lebih dapat diskalakan dan hemat biaya karena mereka hanya menjalankan satu eksperimen per bulan.

Solusi: Sejak memigrasikan sistem file mereka ke FSx for Lustre, ilmuwan data dapat melakukan spin-up dan spin-down ribuan klaster HPC yang terdiri dari instans EC2 dan sistem file Amazon FSx, yang memungkinkan mereka menjalankan eksperimen pemrosesan berat dengan cepat, serta hanya membayar komputasi dan penyimpanan selama durasi beban kerja.

BlackThorn Therapeutics mempercepat waktu ke wawasan dengan FSx for Lustre.

Tantangan: Pemrosesan data pencitraan resonansi magnetik (MRI) menggunakan sistem file cloud DiY standar yang membutuhkan banyak sumber daya dan waktu. BlackThorn membutuhkan solusi komputasi yang intensif dan penyimpanan file bersama untuk membantu menyederhanakan alur kerja ilmu data serta machine learning mereka.

Solusi: Amazon FSx for Lustre terintegrasi dengan Amazon S3 dan Amazon SageMaker, menyediakan pemrosesan cepat untuk set data pelatihan ML mereka serta akses yang lancar untuk komputasi menggunakan instans Amazon EC2.

Qubole meningkatkan daya tahan data sekaligus mengurangi biaya dengan Amazon FSx for Lustre.

Tantangan: Qubole mencari solusi penyimpanan performa tinggi untuk memproses beban kerja analitik dan AI/ML bagi pelanggan mereka. Mereka harus dengan mudah menyimpan dan memproses data perantara yang disimpan di Armada Spot EC2 mereka.

Solusi: Qubole menggunakan Amazon FSx for Lustre untuk menyimpan dan memproses data perantara melalui sistem file paralel kecepatan tinggi.