Pertanyaan Umum Amazon Bedrock

Agen Amazon Bedrock adalah kemampuan terkelola penuh yang mempermudah developer untuk membuat aplikasi berbasis AI generatif yang dapat menyelesaikan tugas kompleks untuk berbagai kasus penggunaan dan memberikan jawaban terkini berdasarkan sumber pengetahuan eksklusif. Hanya dalam beberapa langkah singkat, Agen Amazon Bedrock membagi tugas dan membuat rencana orkestrasi secara otomatis–tanpa pengodean manual apa pun. Agen terhubung ke data perusahaan secara aman melalui API, yang secara otomatis mengubah data menjadi format yang dapat dibaca oleh mesin, dan menambahkan informasi yang relevan pada permintaan untuk menghasilkan respons yang paling akurat. Agen kemudian juga dapat memanggil API untuk memenuhi permintaan pengguna secara otomatis. Misalnya, perusahaan manufaktur mungkin ingin mengembangkan aplikasi AI generatif yang mengotomatisasi pelacakan tingkat inventaris, data penjualan, informasi rantai pasokan, dan yang dapat merekomendasikan titik serta jumlah pemesanan ulang yang optimal untuk memaksimalkan efisiensi. Sebagai kemampuan yang terkelola penuh, Agen Amazon Bedrock menghapus pengangkatan yang tidak terdiferensiasi untuk pengelolaan integrasi sistem dan penyediaan infrastruktur, sehingga memungkinkan developer menggunakan AI generatif sepenuhnya di seluruh organisasi mereka.

Anda dapat menghubungkan FM dengan aman ke sumber data perusahaan Anda menggunakan Agen Amazon Bedrock. Dengan dasar pengetahuan, Anda dapat menggunakan agen untuk memberi FM di Amazon Bedrock akses ke data tambahan, yang membantu model menghasilkan respons yang lebih relevan, konteks spesifik, dan akurat tanpa harus melatih ulang FM secara terus-menerus. Berdasarkan input pengguna, agen mengidentifikasi dasar pengetahuan yang sesuai, mengambil informasi yang relevan, dan menambahkan informasi ke prompt input, yang akan memberikan lebih banyak informasi konteks kepada model untuk menghasilkan penyelesaian.

Agen Amazon Bedrock dapat membantu Anda meningkatkan produktivitas, meningkatkan pengalaman layanan pelanggan Anda, dan mengotomatiskan alur kerja (seperti memproses klaim asuransi).

Dengan agen, developer memiliki dukungan tanpa hambatan untuk pemantauan, enkripsi, izin pengguna, penentuan versi, dan manajemen invokasi API tanpa harus menulis kode kustom. Agen Amazon Bedrock mengotomatiskan rekayasa perintah dan orkestrasi dari tugas yang diminta pengguna. Developer dapat menggunakan templat perintah yang dibuat oleh agen sebagai acuan untuk menyempurnakannya lebih lanjut demi pengalaman pengguna yang lebih baik. Mereka dapat memperbarui input pengguna, rencana orkestrasi, dan respons FM. Dengan akses ke templat prompt, developer memiliki kontrol yang lebih baik atas orkestrasi Agen.

Dengan agen terkelola penuh, Anda tidak perlu khawatir tentang penyediaan atau pengelolaan infrastruktur dan dapat membawa aplikasi ke produksi lebih cepat.

Setiap konten pelanggan yang diproses oleh Amazon Bedrock dienkripsi dan disimpan saat diam di Wilayah AWS tempat Anda menggunakan Amazon Bedrock.

Tidak. Input pengguna dan output model tidak dibagikan dengan penyedia model mana pun.

Amazon Bedrock menawarkan beberapa kemampuan untuk mendukung persyaratan keamanan dan privasi. Amazon Bedrock termasuk dalam cakupan standar kepatuhan umum seperti Fedramp Moderate, Service and Organization Control (SOC), International Organization for Standardization (ISO), Health Insurance Portability and Accountability Act (HIPAA) yang memenuhi syarat, dan pelanggan dapat menggunakan Bedrock sesuai dengan Peraturan Perlindungan Data Umum (GDPR). Amazon Bedrock termasuk dalam cakupan laporan SOC 1, 2, 3, sehingga memungkinkan pelanggan mendapatkan wawasan tentang kontrol keamanan kami. Kami menunjukkan kepatuhan melalui audit pihak ketiga yang ekstensif terhadap kontrol AWS kami. Amazon Bedrock adalah salah satu layanan AWS di bawah Kepatuhan ISO untuk standar ISO 9001, ISO 27001, ISO 27017, ISO 27018, ISO 27701, ISO 22301, dan ISO 20000. Amazon Bedrock bersertifikasi CSA Security Trust Assurance and Risk (STAR) Level 2, yang memvalidasi penggunaan praktik terbaik dan postur keamanan penawaran cloud AWS. Dengan Amazon Bedrock, konten Anda tidak digunakan untuk meningkatkan model dasar dan tidak dibagikan dengan penyedia model mana pun. Anda dapat menggunakan AWS PrivateLink untuk membangun konektivitas privat dari Amazon VPC Anda ke Amazon Bedrock, tanpa harus memaparkan data Anda ke lalu lintas internet.

Tidak, AWS dan penyedia model pihak ketiga tidak akan menggunakan input atau output apa pun dari Amazon Bedrock untuk melatih Amazon Titan atau model pihak ketiga mana pun.

Amazon Bedrock mendukung SDK untuk layanan runtime. SDK iOS dan Android, serta Java, JS, Python, CLI, .Net, Ruby, PHP, Go, dan C++ mendukung input teks dan ucapan.

Streaming didukung di semua SDK.

Lihat halaman harga Amazon Bedrock untuk informasi harga saat ini.

Tergantung pada kontrak Dukungan AWS Anda, Amazon Bedrock didukung dalam paket Dukungan Developer, Dukungan Bisnis, dan Dukungan Korporasi.

Anda dapat menggunakan metrik CloudWatch untuk melacak token input dan output.

Kami meluncurkan pra-pelatihan lanjutan untuk model Amazon Titan Text Express dan Amazon Titan di Amazon Bedrock. Pra-pelatihan lanjutan memungkinkan Anda melanjutkan pra-pelatihan pada model dasar Amazon Titan menggunakan sejumlah besar data tanpa label. Tipe pelatihan ini akan mengadaptasi model dari korpus domain umum ke korpus domain yang lebih spesifik seperti medis, hukum, keuangan, dan lain-lain, sekaligus tetap mempertahankan sebagian besar kemampuan model dasar Amazon Titan. 

Perusahaan mungkin ingin membuat model untuk tugas di domain tertentu. Model dasar mungkin tidak dilatih tentang jargon teknis yang digunakan dalam domain spesifik tersebut. Oleh karena itu, menyempurnakan model dasar secara langsung akan memerlukan catatan pelatihan berlabel dalam jumlah besar dan durasi pelatihan yang lama untuk mendapatkan hasil yang akurat. Untuk meringankan beban ini, pelanggan dapat memberikan data tanpa label dalam jumlah besar untuk pekerjaan pra-pelatihan lanjutan. Pekerjaan ini akan mengadaptasi model dasar Amazon Titan ke domain baru. Kemudian pelanggan dapat menyempurnakan model kustom yang baru dilatih sebelumnya untuk tugas hilir menggunakan catatan pelatihan berlabel yang jauh lebih sedikit dan durasi pelatihan yang lebih singkat. 

Pra-pelatihan lanjutan dan penyempurnaan Amazon Bedrock memiliki persyaratan yang sangat mirip. Untuk alasan ini, kami memilih untuk membuat API terpadu yang mendukung pra-pelatihan lanjutan dan penyempurnaan. Penyatuan API mengurangi kurva pembelajaran dan akan membantu pelanggan menggunakan fitur standar seperti Amazon EventBridge untuk melacak pekerjaan yang berjalan lama, integrasi Amazon S3 untuk mengambil data pelatihan, tanda sumber daya, dan enkripsi model. 

Pra-pelatihan lanjutan membantu Anda dengan mudah mengadaptasi model Amazon Titan ke data spesifik domain Anda sambil tetap mempertahankan fungsionalitas dasar model Amazon Titan. Untuk membuat pekerjaan pra-pelatihan lanjutan, navigasikan ke konsol Amazon Bedrock dan klik “Model Kustom”. Anda akan menavigasi ke halaman model kustom yang memiliki dua tab: Model dan Pekerjaan pelatihan. Kedua tab menyediakan menu drop-down “Kustomisasi Model” di sebelah kanan. Pilih “Pra-pelatihan Lanjutan” dari menu drop-down untuk menavigasi ke “Buat Pekerjaan Pra-pelatihan Lanjutan. “ Anda akan memberikan model sumber, nama, enkripsi model, data input, hyper-parameter, dan data output. Selain itu, Anda dapat memberikan tanda beserta detail tentang peran AWS Identity and Access Management (IAM) dan kebijakan sumber daya untuk pekerjaan tersebut.

Eksklusif untuk Amazon Bedrock, rangkaian model Amazon Titan menggabungkan 25 tahun pengalaman Amazon dalam berinovasi dengan AI dan machine learning di seluruh bisnisnya. FM Amazon Titan memberi berbagai pilihan gambar, multimodal, dan model teks berperforma tinggi kepada pelanggan, melalui API terkelola penuh. Amazon Titan dibuat oleh AWS dan dilatih sebelumnya pada set data besar, yang menjadikannya model tujuan umum yang kuat dan dibangun untuk mendukung berbagai kasus penggunaan, sekaligus mendukung penggunaan AI yang bertanggung jawab. Gunakan apa adanya atau sesuaikan secara pribadi dengan data Anda sendiri. Pelajari selengkapnya tentang Amazon Titan.

Untuk mempelajari selengkapnya tentang data yang diproses untuk mengembangkan dan melatih FM Amazon Titan, kunjungi halaman Pelatihan dan Privasi Model Amazon Titan.

Format data yang didukung mencakup file .pdf, .txt, .md, .html, .doc dan .docx, .csv, .xls, dan .xlsx. File harus diunggah ke Amazon S3. Arahkan ke lokasi data Anda di Amazon S3, dan Basis Pengetahuan Amazon Bedrock akan menangani seluruh alur kerja penyerapan ke dalam basis data vektor Anda.

Basis Pengetahuan Amazon Bedrock menyediakan tiga opsi untuk memotong teks sebelum mengonversinya menjadi sematan. 

1.  Opsi default: Basis Pengetahuan Amazon Bedrock membagi dokumen Anda secara otomatis menjadi potongan yang masing-masing berisi 200 token, sehingga memastikan bahwa kalimat tidak terputus di tengah. Jika suatu dokumen berisi kurang dari 200 token, dokumen tersebut tidak dipecah lebih lanjut. Tumpang tindih 20% token dipertahankan di antara dua bagian yang berurutan.

2.  Pemotongan ukuran tetap: Dalam opsi ini, Anda dapat menentukan jumlah maksimum token per potongan dan persentase tumpang tindih antara potongan untuk Basis Pengetahuan Amazon Bedrock, agar dokumen Anda dibagi secara otomatis menjadi beberapa potongan, sehingga memastikan bahwa kalimat tidak terputus di tengah. 

3.  Opsi Buat satu penyematan per dokumen: Amazon Bedrock membuat satu penyematan per dokumen. Opsi ini cocok jika Anda telah memproses dokumen Anda terlebih dahulu dengan membaginya menjadi beberapa file terpisah dan tidak ingin Amazon Bedrock memecah dokumen Anda lebih lanjut.

Saat ini, Basis Pengetahuan Amazon Bedrock menggunakan versi terbaru dari model Penyematan Teks Amazon Titan yang tersedia di Amazon Bedrock. Model Titan Text Embeddings V2 mendukung token 8K dan 100+ bahasa serta membuat penyematan dengan ukuran dimensi 256, 512, dan 1.024 yang fleksibel. 

Basis Pengetahuan Amazon Bedrock menangani seluruh alur kerja penyerapan untuk mengonversi dokumen Anda menjadi sematan (vektor) dan menyimpan sematan dalam basis data vektor khusus.  Basis Pengetahuan Amazon Bedrock mendukung basis data populer untuk penyimpanan vektor, termasuk mesin vektor untuk Amazon OpenSearch Nirserver, Pinecone, Redis Enterprise Cloud, Amazon Aurora (segera hadir), dan MongoDB (segera hadir). Jika Anda tidak memiliki basis data vektor, Amazon Bedrock membuat penyimpanan vektor OpenSearch Nirserver untuk Anda.

Bergantung pada kasus penggunaan Anda, Anda dapat menggunakan Amazon EventBridge untuk membuat sinkronisasi berkala atau didorong peristiwa antara Amazon S3 dan Basis Pengetahuan Amazon Bedrock.

Evaluasi Model di Amazon Bedrock memungkinkan Anda mengevaluasi, membandingkan, dan memilih FM terbaik untuk kasus penggunaan Anda hanya dalam beberapa langkah. Amazon Bedrock menawarkan pilihan evaluasi otomatis dan evaluasi manusia. Anda dapat menggunakan evaluasi otomatis dengan metrik yang telah ditentukan sebelumnya seperti akurasi, ketahanan, dan toksisitas. Anda dapat menggunakan alur kerja evaluasi manusia untuk metrik subjektif atau khusus seperti keramahan, gaya, dan keselarasan dengan suara merek. Untuk evaluasi manusia, Anda dapat menggunakan karyawan internal atau tim yang dikelola AWS sebagai peninjau. Evaluasi model di Amazon Bedrock menyediakan set data bawaan yang dikurasi atau Anda dapat membawa set data Anda sendiri.

Anda dapat mengevaluasi berbagai metrik yang telah ditentukan sebelumnya seperti akurasi, ketahanan, dan toksisitas menggunakan evaluasi otomatis. Anda juga dapat menggunakan alur kerja evaluasi manusia untuk metrik subjektif atau khusus, seperti keramahan, relevansi, gaya, dan keselarasan dengan suara merek.

Evaluasi otomatis memungkinkan Anda mempersempit daftar FM yang tersedia dengan cepat berdasarkan kriteria standar (seperti akurasi, toksisitas, dan ketahanan). Evaluasi berbasis manusia sering kali digunakan untuk mengevaluasi kriteria yang lebih bernuansa atau subjektif yang memerlukan penilaian manusia dan ketika evaluasi otomatis mungkin tidak ada (seperti suara merek, niat kreatif, keramahan).

Anda dapat dengan cepat mengevaluasi model Amazon Bedrock untuk metrik seperti akurasi, ketahanan, dan toksisitas dengan menggunakan set data bawaan yang dikurasi, atau dengan membawa set data cepat Anda sendiri. Setelah set data perintah Anda dikirim ke model Amazon Bedrock untuk inferensi, respons model diberi skor dengan algoritma evaluasi untuk setiap dimensi. Mesin backend mengumpulkan skor respons perintah individu menjadi skor ringkasan dan menyajikannya melalui laporan visual yang mudah dipahami.

Amazon Bedrock memungkinkan Anda mengatur alur kerja tinjauan manusia dengan beberapa langkah dan menghadirkan karyawan internal Anda, atau menggunakan tim pakar yang dikelola AWS, untuk mengevaluasi model. Melalui antarmuka intuitif Amazon Bedrock, manusia dapat meninjau dan memberikan umpan balik terhadap respons model dengan mengklik jempol ke atas atau bawah, memberi peringkat pada skala 1-5, memilih yang terbaik dari beberapa respons, atau memberi peringkat perintah. Misalnya, anggota tim dapat diperlihatkan bagaimana dua model merespons perintah yang sama, lalu diminta untuk memilih model yang memperlihatkan output yang lebih akurat, relevan, atau bergaya. Anda dapat menentukan kriteria evaluasi yang penting bagi Anda, dengan menyesuaikan instruksi dan tombol agar muncul di UI evaluasi untuk tim Anda. Anda juga dapat memberikan instruksi terperinci dengan contoh dan sasaran evaluasi model secara keseluruhan, sehingga pengguna dapat menyelaraskan pekerjaannya. Metode ini berguna untuk mengevaluasi kriteria subjektif yang memerlukan penilaian manusia, atau keahlian bidang studi yang lebih bernuansa, dan yang tidak dapat dengan mudah dinilai dengan evaluasi otomatis.

Pagar Pembatas Amazon Bedrock membantu Anda mengimplementasikan perlindungan untuk aplikasi AI generatif berdasarkan kasus penggunaan Anda dan kebijakan AI yang bertanggung jawab. Pagar pembatas membantu mengontrol interaksi antara pengguna dan FM dengan memfilter konten yang tidak diinginkan dan berbahaya serta akan segera menyunting informasi pengenal pribadi (PII), sehingga meningkatkan keamanan dan privasi konten dalam aplikasi AI generatif. Anda dapat membuat beberapa pagar pembatas dengan konfigurasi berbeda yang disesuaikan dengan kasus penggunaan tertentu. Selain itu, dengan pagar pembatas Anda dapat terus memantau dan menganalisis input pengguna dan respons FM yang mungkin melanggar kebijakan yang ditentukan pelanggan.

Pagar pembatas memungkinkan Anda menentukan rangkaian kebijakan untuk membantu melindungi aplikasi AI generatif Anda.. Anda dapat mengonfigurasi kebijakan berikut di pagar pembatas.

• Topik yang ditolak: membantu Anda menentukan rangkaian topik yang tidak diinginkan dalam konteks aplikasi Anda. Misalnya, asisten perbankan online dapat dirancang untuk tidak memberikan nasihat investasi.
• Filter konten: membantu Anda mengonfigurasi ambang batas untuk memfilter konten berbahaya dalam kategori kebencian, hinaan, seksual, dan kekerasan.
• Filter kata: membantu Anda menentukan rangkaian kata yang akan diblokir dalam input pengguna dan respons yang dihasilkan FM.
• Redaksi PII (segera hadir): membantu Anda memilih rangkaian PII yang dapat disunting dalam respons yang dihasilkan FM. Berdasarkan kasus penggunaan, Pagar Pembatas juga dapat membantu Anda memblokir input pengguna jika berisi PII.
• Pemeriksaan landasan kontekstual: membantu mendeteksi dan memfilter halusinasi jika respons tidak didasarkan pada informasi sumber (misalnya, tidak akurat secara faktual atau informasi baru) dan tidak relevan dengan pertanyaan atau instruksi pengguna.

Pagar pembatas dapat digunakan dengan semua model bahasa besar (LLM) yang tersedia di Amazon Bedrock. Alat ini juga dapat digunakan dengan FM yang telah disesuaikan serta Agen untuk Amazon Bedrock.

AWS menawarkan ganti rugi kekayaan intelektual (IP) yang tidak dibatasi untuk klaim hak cipta yang timbul dari output generatif dari layanan AI generatif Amazon yang tersedia secara umum berikut ini: model Amazon Titan, Amazon CodeWhisperer Profesional, dan layanan lain yang tercantum dalam Bagian 50.10 Ketentuan Layanan (“Ganti Rugi Layanan AI Generatif”). Artinya, pelanggan dilindungi dari klaim pihak ketiga yang menuduh adanya pelanggaran hak cipta atas output yang dihasilkan oleh Layanan AI Generatif yang Diberi Ganti Rugi sebagai respons terhadap input atau data lain yang diberikan oleh pelanggan. Pelanggan juga harus menggunakan layanan secara bertanggung jawab, seperti tidak memasukkan data yang melanggar atau menonaktifkan fitur pemfilteran layanan.

Selain itu, ganti rugi IP standar kami untuk penggunaan layanan melindungi pelanggan dari klaim pihak ketiga yang menuduh pelanggaran IP (termasuk klaim hak cipta) oleh layanan dan data yang digunakan untuk melatih mereka.

Terdapat lima kebijakan pagar pembatas yang masing-masing memiliki perlindungan berbeda

• Filter konten – Ini memiliki 6 kategori yang tersedia (kebencian, penghinaan, seksual, kekerasan, pelanggaran (termasuk aktivitas kriminal) dan serangan cepat (pembobolan penjara dan injeksi cepat. Setiap kategori dapat memiliki ambang batas yang disesuaikan lebih lanjut dalam hal agresivitas pemfilteran - rendah/sedang/tinggi.
• Topik yang ditolak – Ini adalah topik khusus yang dapat ditentukan oleh pelanggan menggunakan deskripsi bahasa alami yang sederhana
• Filter informasi sensitif – Dilengkapi dengan lebih dari 30 PII siap pakai. Ini dapat disesuaikan lebih lanjut dengan menambahkan informasi milik pelanggan yang sensitif.
• Filter kata – Dilengkapi dengan pemfilteran kata-kata kotor siap pakai dan dapat disesuaikan lebih lanjut dengan kata-kata khusus.
• Pemeriksaan landasan kontekstual – Dapat membantu mendeteksi halusinasi untuk aplikasi RAG, ringkasan, dan percakapan, di mana informasi sumber dapat digunakan sebagai referensi untuk memvalidasi respons model.

Model fondasi memiliki perlindungan native dan merupakan perlindungan default yang terkait dengan setiap model. Perlindungan native ini BUKAN bagian dari Pagar Pembatas Amazon Bedrock. Pagar Pembatas Amazon Bedrock adalah lapisan tambahan perlindungan khusus yang dapat diterapkan secara opsional oleh pelanggan berdasarkan persyaratan aplikasi mereka dan kebijakan AI yang bertanggung jawab.

Sebagai bagian dari Pagar Pembatas Amazon Bedrock, deteksi SSN dan nomor telepon adalah bagian dari 30+ PII siap pakai. Daftar lengkap tersedia di sini.

Ada biaya terpisah untuk penggunaan Pagar Pembatas Amazon Bedrock. Ini dapat diterapkan untuk input dan output. Harga di bagian bawah halaman di sini.

Ya, API Pagar Pembatas Amazon Bedrock membantu pelanggan menjalankan pengujian otomatis. “Pembuat kasus uji” mungkin sesuatu yang ingin Anda gunakan sebelum melakukan deployment pagar pembatas dalam produksi. Belum ada pembuat kasus uji asli. Untuk pemantauan lalu lintas produksi yang berkelanjutan, pagar pembatas menyediakan log terperinci dari semua pelanggaran untuk setiap input dan output, sehingga pelanggan dapat memantau secara terperinci setiap input yang masuk dan keluar dari aplikasi gen AI mereka. Log ini dapat disimpan di CloudWatch atau S3 dan dapat digunakan untuk membuat dasbor khusus berdasarkan kebutuhan pelanggan.