Pelanggan Amazon FSx for Lustre

  • Adobe

    Adobe didirikan 40 tahun yang lalu dengan ide sederhana untuk menciptakan produk inovatif yang mengubah dunia, Adobe menawarkan teknologi inovatif yang memberdayakan semua orang di mana pun untuk berimajinasi, berkreasi, dan mewujudkan pengalaman digital apa pun.

    Tantangan: Alih-alih mengandalkan model sumber terbuka, Adobe memutuskan untuk melatih model AI generatif dasarnya sendiri yang dirancang untuk kasus penggunaan kreatif.

    Solusi: Adobe menciptakan AI superhighway di AWS untuk membangun platform pelatihan AI dan alur data untuk melakukan iterasi model dengan cepat. Adobe membangun solusinya dengan instans Amazon Elastic Compute Cloud (Amazon EC2) P5 dan P4d yang ditenagai oleh GPU NVIDIA, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Block Store (Amazon EBS), dan Amazon Elastic Fabric Adapter (EFA). Adobe juga menggunakan Amazon Simple Storage Service (Amazon S3) yang berfungsi sebagai danau data dan repositori utama untuk kumpulan data yang luas. Adobe menggunakan penyimpanan file beperforma tinggi Amazon FSx for Lustre, untuk akses cepat ke data dan memastikan sumber daya GPU tidak pernah diam.

    Memang mudah untuk membayangkan bahwa saya akan membuat cloud AI saya sendiri, tetapi kemitraan dengan AWS memungkinkan kami untuk fokus pada pembeda kami

    Alexandru Costin - Vice President, AI Generatif dan Sensei di Adobe
    Baca studi Kasus Adobe. »
  • LG AI Research

    LG AI Research Bersama dengan para ahli AI terkemuka di dunia, LG AI Research bertujuan untuk memimpin era AI berikutnya guna mewujudkan masa depan yang menjanjikan bersama Anda dengan menyediakan lingkungan penelitian yang optimal dan memanfaatkan teknologi AI yang canggih.

    Tantangan: LG AI Research perlu melakukan deployment model fondasinya, EXAONE, ke produksi dalam waktu satu tahun. EXAONE, yang merupakan singkatan dari “expert AI for everyone” (ahli AI untuk semua orang), adalah model multimodal dengan 300 miliar parameter yang menggunakan gambar dan data teks.

    Solusi: LG AI Research menggunakan Amazon SageMaker untuk melatih model fondasi skala besarnya dan Amazon FSx for Lustre untuk mendistribusikan data ke dalam instans guna mempercepat pelatihan model. LG AI Research perlu melakukan deployment model fondasinya, EXAONE, ke produksi dalam waktu satu tahun. LG AI Research berhasil melakukan deployment EXAONE dalam waktu satu tahun, dan mengurangi biaya sekitar 35 persen dengan menghilangkan kebutuhan untuk tim manajemen infrastruktur terpisah.

    Baca Studi Kasus LG AI Research. »
  • Paige

    Paige adalah penyedia transformasi patologi digital terkemuka, yang menawarkan solusi berbasis web skala penuh dan mendukung AI, serta menghadirkan efisiensi dan keyakinan untuk diagnosis kanker.

    Tantangan: Solusi on-premise Paige sudah maksimal. Tujuan mereka adalah untuk melatih model AI dan ML untuk membantu patologi kanker. Paige menemukan bahwa semakin banyak kapasitas komputasi yang mereka miliki, semakin cepat mereka dapat melatih model dan membantu memecahkan masalah diagnostik.

    Solusi: Untuk menjalankan beban kerja pelatihan ML mereka, Paige memilih Instans P4d Amazon EC2, yang didukung oleh NVIDIA A100 Tensor Core GPU, serta menghadirkan performa tinggi untuk pelatihan ML dan aplikasi HPC di cloud. Paige menggunakan Amazon FSx for Lustre, penyimpanan bersama yang terkelola penuh dan dibangun di atas sistem file performa tinggi yang populer. Perusahaan menghubungkan layanan ini dengan beberapa bucket Amazon S3 miliknya, yang membantu tim pengembangannya menangani petabita data input ML tanpa melakukan prestaging data secara manual pada sistem file performa tinggi. Hasil dari solusi AWS adalah Paige dapat melatih 10x jumlah data on-premise menggunakan infrastruktur AWS untuk ML.  Paige juga mengalami alur kerja internal 72% lebih cepat dengan Amazon EC2 dan Amazon FSx for Lustre. 

    Dengan menghubungkan Amazon FSx for Lustre ke Amazon S3, kami dapat melatih 10 kali lipat jumlah data yang pernah kami coba di infrastruktur on-premise tanpa kesulitan apa pun.

    Alexander van Eck, staff AI engineer - Paige
    Baca studi kasus, Paige Meningkatkan Pengobatan Kanker Menggunakan Alur Kerja ML Hibrida yang Dibangun dengan Instans P4d Amazon EC2. »
  • Toyota

    Toyota Research Institute memilih FSx for Lustre untuk mengurangi waktu pelatihan machine learning untuk pengenalan objek.

    Toyota Research Institute (TRI) mengumpulkan dan memproses sejumlah besar data sensor dari uji coba kendaraan otonom (AV) mereka. Setiap set data pelatihan dilakukan secara bertahap di perangkat NAS on-premise dan ditransfer ke Amazon Simple Storage Service (Amazon S3) sebelum diproses di klaster komputasi GPU yang tangguh. TRI membutuhkan sistem file performa tinggi untuk dipasangkan dengan sumber daya komputasi mereka, yang mempercepat pelatihan model ML, dan mempercepat wawasan untuk ilmuwan data mereka.

    Kami membutuhkan sistem file paralel untuk set data pelatihan ML kami serta memilih Amazon FSx for Lustre karena ketersediaan dan ketahanannya yang lebih tinggi, dibandingkan dengan penawaran sistem file warisan kami. Integrasi dengan layanan AWS, yang termasuk S3, juga menjadikannya sebagai opsi pilihan untuk penyimpanan file performa tinggi kami.

    David Fluck, Rekayasawan Perangkat Lunak (Software Engineer) - Toyota Research Institute
  • Shell

    Shell menawarkan portofolio pilihan energi yang dinamis–mulai dari minyak, gas dan petrokimia, hingga angin, tenaga surya, serta hidrogen–Shell bangga dapat memasok energi yang dibutuhkan pelanggannya untuk memenuhi kebutuhan hidup mereka. 

    Tantangan: Shell mengandalkan HPC untuk pembuatan model, pengujian, dan validasi. Dari tahun 2020 hingga 2022, pemanfaatan GPU rata-rata kurang dari 90%, yang mengakibatkan penundaan proyek dan keterbatasan pada eksperimen algoritma baru.

    Solusi: Shell meningkatkan kapasitas komputasi on-premise mereka dengan melakukan lompatan ke cloud menggunakan klaster Amazon EC2 dan Amazon FSx for Lustre. Solusi ini memberi Shell kemampuan untuk menaikkan dan menurunkan skala dengan cepat, serta hanya membeli kapasitas komputasi tambahan saat diperlukan. Sekarang, GPU Shell dimanfaatkan sepenuhnya untuk mengurangi biaya komputasi, dan mempercepat pengujian model machine learning.

  • Storengy

    Storengy, anak perusahaan dari ENGIE Group, adalah pemasok gas alam terkemuka. Perusahaan ini menawarkan penyimpanan gas, solusi panas bumi, produksi energi bebas karbon, dan teknologi penyimpanan untuk perusahaan di seluruh dunia.

    Untuk memastikan produknya disimpan dengan benar, Storengy menggunakan simulator berteknologi tinggi untuk mengevaluasi penyimpanan gas bawah tanah, sebuah proses yang memerlukan penggunaan beban kerja komputasi performa tinggi (HPC) secara ekstensif. Perusahaan juga menggunakan teknologi HPC untuk menjalankan tugas penemuan dan eksplorasi gas alam.

    Karena AWS, kami memiliki skalabilitas dan ketersediaan tinggi untuk melakukan ratusan simulasi sekaligus. Selain itu, solusi menaikkan atau menurunkan skala secara otomatis untuk mendukung periode beban kerja tertinggi kami, yang berarti kami tidak memiliki kejutan apa pun dengan lingkungan HPC kami.

    Jean-Frederic Thebault – Rekayasawan (Engineer), Storengy
  • Smartronix

    Smartronix memanfaatkan FSx for Lustre untuk menghadirkan performa tinggi yang andal untuk deployment SAS Grid mereka.

    Smartronix menyediakan solusi cloud, keamanan siber, integrasi sistem, C5ISR dan analitik data di seluruh dunia, serta rekayasa yang berfokus pada misi untuk banyak organisasi komersial dan federal terkemuka dunia. Smartronix mengandalkan SAS Grid untuk menganalisis dan mengirimkan statistik harian COVID di seluruh negara bagian, serta menemukan bahwa sistem file paralel mereka yang dikelola sendiri sulit dikelola dan dilindungi.

    Berkolaborasi dengan AWS dan memanfaatkan solusi terkelola mereka seperti FSx for Lustre memungkinkan kami melayani pelanggan dengan lebih baik – dengan ketersediaan lebih tinggi dan biaya 29% lebih rendah daripada sistem file yang dikelola sendiri.

    Rob Mounier – Arsitek Solusi Senior (Senior Solutions Architect), Smartronix
  • Netflix

    Netflix adalah layanan streaming yang menawarkan berbagai macam acara TV pemenang penghargaan, film, anime, dokumenter, dan lainnya.

    Tantangan: Netflix menggunakan pelatihan terdistribusi skala besar untuk model ML media, untuk thumbnail pasca-produksi, VFX, dan pembuatan trailer untuk ribuan video serta jutaan klip. Netflix mengalami waktu tunggu yang lama karena replikasi lintas simpul dan waktu diam GPU sebesar 40%.

    Solusi: Netflix merancang ulang jalur pemuatan data mereka dan meningkatkan efisiensinya dengan melakukan pra-komputasi semua klip video/audio. Netflix juga memilih Amazon UltraClusters (instans P4d EC2) untuk mempercepat performa komputasi. Performa Amazon FSx for Lustre memungkinkan Netflix memenuhi GPU, dan hampir menghilangkan waktu diam GPU. Sekarang, Netflix mengalami peningkatan 3-4x menggunakan pra-komputasi dan FSx for Lustre, yang mengurangi waktu pelatihan model dari seminggu menjadi 1-2 hari.

    Tonton video: Pelatihan terdistribusi skala besar untuk model ML media dengan Amazon FSx for Lustre. »
  • Hyundai

    Hyundai Motor Company telah berkembang menjadi produsen mobil yang diakui secara global yang mengekspor kendaraan bermereknya ke lebih dari 200 negara.

    Tantangan: Salah satu algoritma yang sering digunakan dalam berkendara otonom adalah segmentasi semantik, yaitu sebuah tugas untuk menganotasi setiap piksel gambar dengan kelas objek. Kelas-kelas ini dapat berupa jalan, orang, mobil, bangunan, tumbuh-tumbuhan, langit, dll. Hyundai menguji akurasi, dan mengumpulkan gambar tambahan untuk mengoreksi performa prediktif yang tidak memadai dalam situasi tertentu. Namun, hal ini dapat menjadi sebuah tantangan, karena seringkali tidak ada cukup waktu untuk menyiapkan semua data baru sambil menyisakan waktu yang cukup untuk melatih model dan memenuhi batas waktu yang dijadwalkan.

    Solusi: Hyundai memilih Amazon SageMaker untuk mengotomatiskan pelatihan model, dan pustaka Amazon SageMaker untuk paralelisme data, untuk beralih dari satu GPU ke pelatihan terdistribusi. Hyundai memilih Amazon FSx for Lustre untuk melatih model tanpa menunggu salinan data. Hyundai juga memilih Amazon S3 untuk penyimpanan data permanennya. Hyundai mencapai efisiensi penskalaan hingga 93% dengan 8 instans GPU, atau total 64 GPU. FSx for Lustre memungkinkan Hyundai menjalankan beberapa tugas pelatihan dan eksperimen terhadap data yang sama tanpa waktu tunggu.

    Baca postingan blog pelanggan »
  • Rivian

    Rivian memiliki misi untuk menjaga dunia tetap berpetualang selamanya. Kami percaya ada cara yang lebih bertanggung jawab untuk menjelajahi dunia dan bertekad untuk membuat transisi ke transportasi berkelanjutan menjadi sesuatu hal yang menarik.

    Untuk memenuhi jadwal rekayasa yang dipercepat dan mengurangi kebutuhan terhadap prototipe fisik, produsen kendaraan listrik Rivian mengandalkan teknik pemodelan dan simulasi tingkat lanjut. Dengan kapasitas komputasi yang tinggi, simulasi memungkinkan para rekayasawan menguji konsep baru dan menghadirkan desain ke pasar dengan cepat.

    Berpartner dengan Amazon memungkinkan Rivian fokus pada pengembangan dan pengiriman kendaraan berkelanjutan, bukan pada IT. Dan bersama Amazon, kami menjalankan aplikasi pengembangan utama kami lebih cepat daripada di lingkungan on-premise yang meliputi: 56% lebih cepat di Elements, 35% lebih cepat di Siemens, dan 20% lebih cepat di Ansys.

    Madhavi Osanaka, CIO - Rivian
    Baca studi kasus Rivian »
  • DENSO

    Denso mengembangkan sensor gambar untuk sistem bantuan pengemudi canggih (ADAS), yang membantu pengemudi dengan fungsi seperti parkir dan perubahan jalur.

    Tantangan: Untuk mengembangkan model ML yang diperlukan untuk pengenalan gambar ADAS, DENSO telah membangun klaster GPU di lingkungan on-premise miliknya. Namun, beberapa rekayasawan ML membagikan sumber daya GPU yang bersifat terbatas, yang memengaruhi produktivitas—terutama selama periode sibuk sebelum rilis produk baru.

    Solusi: Dengan mengadopsi Amazon SageMaker dan Amazon FSx for Lustre, Denso mampu mempercepat pembuatan model pengenalan gambar ADAS dengan mengurangi waktu akuisisi data, pengembangan model, pembelajaran, serta evaluasi.

    “Praktik peralihan ke cloud akan terus meningkatkan bidang kecerdasan buatan dan ML. Saya yakin bahwa AWS akan terus memberi kami dukungan saat kami terus menambahkan fungsi.”

    Kensuke Yokoi, general manager - DENSO
    Baca Studi Kasus Denso. »
  • Joby Aviation

    Joby Aviation menggunakan AWS untuk merevolusi transportasi.

    Tantangan: Rekayasawan Joby mengandalkan komputasi performa tinggi (HPC) untuk melakukan ribuan simulasi Dinamika Fluida Komputasi (CFD) yang kompleks dan komputasi intensif yang masing-masing menggunakan ratusan inti CPU serta memerlukan waktu berjam-jam untuk menyelesaikannya.

    Solusi: Menggunakan Amazon Elastic Compute Cloud (Amazon EC2) dan Amazon FSx for Lustre memungkinkan Joby mendapatkan hasil yang lebih cepat dari beban kerja CFD mereka dibandingkan dengan infrastruktur komputasi performa tinggi on-premise.

    Saat kami mencoba menjalankan lusinan simulasi sekaligus, kami membaca dan menulis beberapa gigabita data sekaligus, yang memperlambat semuanya. FSx for Lustre menghilangkan masalah kapasitas tersebut. Sekarang, kami dapat meningkatkan ukuran hard drive kami dengan mudah.

    Alex Stoll, Pimpinan Aeromekanik (Aeromechanics Lead), Joby Aviation
    Baca studi kasus Joby Aviation »
  • T-Mobile

    T-Mobile merealisasikan penghematan tahunan sebesar 1,5 juta USD dan menggandakan kecepatan beban kerja SAS Grid menggunakan Amazon FSx for Lustre.

    Tantangan: T-Mobile mengalami overhead manajemen yang tinggi dan kesulitan dalam hal performa dengan beban kerja SAS Grid yang dikelola sendiri.

    Solusi: T-Mobile melakukan deployment Amazon FSx for Lustre, sebuah sistem file performa tinggi yang terkelola penuh, untuk memigrasikan dan menskalakan infrastruktur SAS Grid mereka. T-Mobile memanfaatkan integrasi ketat Amazon FSx dan S3 untuk mengurangi overhead penyimpanan serta mengoptimalkan operasi.

    Amazon FSx for Lustre membantu kami menggandakan kecepatan beban kerja SAS Grid, mengurangi Total Biaya Kepemilikan sebesar 83%, dan sepenuhnya menghilangkan beban operasional kami. Berpartner dengan AWS memungkinkan kami untuk berfokus pada hal-hal terbaik yang dapat kami lakukan, mengembangkan produk inovatif untuk pelanggan kami, sembari mengandalkan fitur penyimpanan canggih FSx, dan kemampuan hosting kelas dunia AWS.

    Dinesh Korde, Manajer Senior Pengembangan Perangkat Lunak (Senior Manager Software Development) - T-Mobile
  • Netflix

    Produksi musim keempat drama episodik "The Crown" di Netflix menghadapi tantangan yang tidak terduga, yaitu saat dunia dibatasi aksesnya akibat pandemi COVID-19 tepat saat pekerjaan VFX pascaproduksi dijadwalkan akan dimulai. Dengan mengadopsi alur kerja berbasis cloud di AWS, yang mencakup server file Amazon FSx Lustre untuk peningkatan throughput, tim VFX internal Netflix yang terdiri dari 10 artis dapat menyelesaikan lebih dari 600 pengambilan gambar VFX dengan lancar untuk 10 episode musim yang hanya berjalan dalam 8 bulan, semuanya dilakukan dengan bekerja dari jarak jauh. 

    Baca posting blog "'The Crown di Cloud" »
  • Maxar

    Maxar menggunakan AWS untuk menghadirkan prakiraan cuaca 58% lebih cepat daripada superkomputer cuacanya.

    Tantangan: Maxar Technologies, partner tepercaya dan inovator dalam inteligensi Bumi dan infrastruktur Luar Angkasa, membutuhkan pengiriman prakiraan cuaca yang lebih cepat dibandingkan dengan superkomputer on-premise miliknya.

    Solusi: Maxar bekerja sama dengan AWS untuk menciptakan solusi HPC menggunakan teknologi utama termasuk Amazon Elastic Compute Cloud (Amazon EC2) untuk sumber daya komputasi yang aman dan sangat andal, Amazon FSx for Lustre untuk mempercepat throughput baca/tulis aplikasinya, serta AWS ParallelCluster untuk membangun lingkungan komputasi HPC dengan cepat di AWS.

    Maxar menggunakan Amazon FSx for Lustre dalam solusi AWS HPC kami untuk menjalankan model prakiraan cuaca numerik NOAA. Ini memungkinkan kami mengurangi waktu komputasi sebesar 58%, yang menghasilkan prakiraan dalam waktu sekitar 45 menit untuk titik harga yang jauh lebih hemat biaya. Memaksimalkan sumber daya komputasi AWS kami merupakan sebuah peningkatan performa yang luar biasa bagi kami.

    Stefan Cecelski, PhD, Ilmuwan & Rekayasawan Data Senior (Senior Data Scientist & Engineer) - Maxar Technologies
    Baca studi kasus Maxar »
  • INEOS TEAM UK

    INEOS TEAM UK mempercepat desain kapal untuk Piala Amerika menggunakan AWS.

    Tantangan: Dibentuk pada tahun 2018, INEOS TEAM UK bertujuan untuk menghadirkan Piala Amerika—trofi olahraga internasional tertua di dunia—ke Britania Raya. Piala Amerika membatasi pengujian di air tidak lebih dari 150 hari sebelum acara dimulai, sehingga simulasi dinamika fluida komputasi (CFD) performa tinggi dari monohull dan foil menjadi kunci kemenangan desain kapal.  

    Solusi: Dengan menggunakan AWS, INEOS TEAM UK dapat memproses ribuan simulasi desain untuk kapal Piala Amerikanya dalam waktu satu minggu versus dalam waktu lebih dari sebulan menggunakan lingkungan on-premise. INEOS TEAM UK berkompetisi di Piala Amerika edisi ke-36 tahun 2021. Tim menggunakan lingkungan HPC yang berjalan di Instans Spot Amazon EC2.  Untuk memastikan performa disk yang cepat untuk ribuan simulasi yang diselesaikan setiap minggu, tim juga menggunakan Amazon FSx for Lustre untuk menghadirkan sistem file performa tinggi yang cepat, dapat diskalakan, dan aman berdasarkan Amazon Simple Storage Service (S3).

    AWS memungkinkan kami untuk mengambil langkah-langkah desain yang lebih besar, hanya karena kami memiliki lebih banyak waktu untuk memahami hasil kami.

    Nick Holroyd, Kepala Desain (Head of Design) - INEOS TEAM UK
    Baca studi kasus INEOS TEAM UK »
  • Hive VFX

    Hive VFX memangkas biaya studio di muka dan beroperasi sebagai studio VFX cloud di AWS.

    Tantangan: Hive membutuhkan infrastruktur performa tinggi untuk meluncurkan studio cloud yang kecil dan independen bagi para artis jarak jauh di seluruh dunia untuk membuat konten yang berkualitas.

    Solusi: Amazon FSx for Lustre yang terkelola penuh dan terintegrasi dengan Amazon S3, menyediakan akses cepat ke sumber daya komputasi AWS tanpa investasi di muka yang besar atau memiliki keahlian tim IT internal. Sinkronisasi data file dan izin file yang lancar antara FSx Lustre dan S3 memungkinkan Hive VFX untuk menyimpan gambar dalam jumlah besar serta berbagi data proyek di seluruh benua.

    Saya dapat membuat sistem file Amazon FSx for Lustre dalam waktu 5 menit dan semuanya dikelola oleh AWS.

    Bernie Kimbacher, Pendiri (Founder) - Hive VFX
    Baca studi kasus Hive VFX »
  • Lyell

    Lyell mempercepat penelitian pengobatan kanker berbasis sel mereka dengan Amazon FSx for Lustre.

    Tantangan: Lyell memberikan pengobatan kanker kuratif berbasis sel yang membutuhkan desain komputasi protein skala besar. Beban kerja ini biasanya dijalankan di lingkungan on-premise, tetapi perusahaan membutuhkan solusi yang lebih dapat diskalakan dan hemat biaya karena mereka hanya menjalankan satu eksperimen per bulan.

    Solusi: Sejak memigrasikan sistem file mereka ke FSx for Lustre, ilmuwan data dapat melakukan spin-up dan spin-down ribuan klaster HPC yang terdiri dari instans EC2 dan sistem file Amazon FSx, yang memungkinkan mereka menjalankan eksperimen pemrosesan berat dengan cepat, serta hanya membayar komputasi dan penyimpanan selama durasi beban kerja.

    Amazon for FSx Lustre mempercepat penelitian kami dalam mengembangkan pengobatan kanker generasi terbaru. Dengan menggunakan FSx, kami telah mengurangi waktu pelaksanaan eksperimen kami dari minggu menjadi beberapa jam, dan memungkinkan para ilmuwan untuk menguji lebih banyak hipotesis daripada sebelumnya. Beban kerja kami yang berjalan di puluhan ribu simpul komputasi kini dapat menggunakan FSx untuk mengakses data S3 pada set super tinggi.

    Anish Kejariwal, Kepala Rekayasa Analitik Data (Head of Data Analytics Engineering) - Lyell Immunopharma
  • BlackThorn Therapeutics

    BlackThorn Therapeutics mempercepat waktu ke wawasan dengan FSx for Lustre.

    Tantangan: Pemrosesan data pencitraan resonansi magnetik (MRI) menggunakan sistem file cloud DiY standar yang membutuhkan banyak sumber daya dan waktu. BlackThorn membutuhkan solusi komputasi yang intensif dan penyimpanan file bersama untuk membantu menyederhanakan alur kerja ilmu data serta machine learning mereka.

    Solusi: Amazon FSx for Lustre terintegrasi dengan Amazon S3 dan Amazon SageMaker, menyediakan pemrosesan cepat untuk set data pelatihan ML mereka serta akses yang lancar untuk komputasi menggunakan instans Amazon EC2.

    FSx for Lustre telah memungkinkan kami untuk membuat jalur pemrosesan data MRI performa tinggi. Waktu pemrosesan data untuk alur kerja berbasis ML kami dipersingkat menjadi beberapa menit dibandingkan dengan hari dan minggu.

    Oscar Rodriguez, Direktur Senior, Inovasi & Teknologi (Senior Director, Innovation & Technology) - BlackThorn Therapeutics
  • Qubole

    Qubole meningkatkan daya tahan data sekaligus mengurangi biaya dengan Amazon FSx for Lustre.

    Tantangan: Qubole mencari solusi penyimpanan performa tinggi untuk memproses beban kerja analitik dan AI/ML bagi pelanggan mereka. Mereka harus dengan mudah menyimpan dan memproses data perantara yang disimpan di Armada Spot EC2 mereka.

    Solusi: Qubole menggunakan Amazon FSx for Lustre untuk menyimpan dan memproses data perantara melalui sistem file paralel kecepatan tinggi.

    Dua masalah terbesar pengguna kami, biaya tinggi dan kehilangan data perantara, yang berasal dari penggunaan instans EC2 yang tidak aktif dan instans Spot EC2 untuk memproses serta menyimpan data perantara yang dihasilkan oleh kerangka kerja pemrosesan terdistribusi seperti Hive dan Spark. Kami dapat mengatasi masalah ini dengan menggunakan Amazon FSx for Lustre, sistem file performa tinggi, untuk memindahkan data perantara. Sekarang pengguna kami tidak perlu membayar untuk memelihara instans yang tidak aktif dan tidak terpengaruh oleh simpul Spot EC2 yang terganggu. Amazon FSx membantu pengguna kami mengurangi total biaya sebesar 30%.

    Joydeep Sen Sarma, Direktur Teknologi (CTO) - Qubole