Skip to content
  • Beranda
  • Solution
    • Education
    • Financial IT
    • Retail IT
    • Manufacturing
    • Healthcare IT Solution
    • Telco
  • Produk
    • Virtual Controller
  • Blog
  • Kontak Kami
placeholder-661-1-1.png
  • Beranda
  • Solution
    • Education
    • Financial IT
    • Retail IT
    • Manufacturing
    • Healthcare IT Solution
    • Telco
  • Produk
    • Virtual Controller
  • Blog
  • Kontak Kami

Tag: Data Analytics

November 9, 2026

Implied Indexing Tanzu Greenplum: Optimasi Filter Data

Mengenal Implied Indexing dalam Tanzu Greenplum Implied Indexing hadir sebagai solusi inovatif dalam VMware Tanzu Greenplum 7.6. Teknologi ini dirancang untuk mempercepat query selektif pada tabel Append-Optimized Columnar (AOCO). Banyak organisasi sering menghadapi dilema antara performa query dan biaya pemeliharaan indeks. Dengan fitur ini, Anda tidak perlu lagi memilih antara keduanya. Penyimpanan kolom atau columnar storage sudah lama menjadi standar emas dalam analitik data. Alasan utamanya sederhana: Anda hanya perlu membaca kolom yang relevan. Namun, efisiensi bukan sekadar membaca kolom, melainkan juga membaca baris yang tepat. Implied Indexing memastikan sistem hanya memproses baris yang memenuhi kriteria filter, sehingga meningkatkan performa secara drastis. Mengapa Indeks Tradisional Sering Menjadi Beban? Sebelum adanya Implied Indexing, administrator database biasanya menggunakan dua strategi yang tidak sempurna. Pertama, melakukan column projection scan. Strategi ini membaca seluruh nilai dalam kolom, menggabungkannya, baru kemudian menerapkan filter WHERE. Strategi ini sangat memboroskan I/O dan biaya komputasi untuk data yang akhirnya dibuang. Kedua, menggunakan indeks sekunder tradisional. Meskipun indeks sekunder dapat membantu menemukan baris lebih cepat, ia memiliki banyak kelemahan. Indeks mengonsumsi ruang penyimpanan ekstra dan memperlambat proses ingestion data. Selain itu, indeks tidak mendukung kompresi. Akibatnya, setiap kolom yang difilter memerlukan indeks tersendiri, yang justru melanggar tujuan utama efisiensi penyimpanan kolom. Cara Kerja Implied Indexing: Mengubah Penyimpanan Menjadi Indeks Konsep dasar Implied Indexing sangat cerdas: menggunakan struktur penyimpanan kolom itu sendiri sebagai indeks. Greenplum 7.6 mengubah alur eksekusi scan untuk mencapai efisiensi ini: Qual-first scanning: Mesin hanya memindai kolom yang ada di klausa WHERE terlebih dahulu, bukan seluruh daftar proyeksi. Tuple identification: Sistem mengidentifikasi ID baris yang cocok langsung dari pemindaian sempit tersebut. Multi-column filter: Kondisi AND dievaluasi secara berurutan dengan fitur short-circuiting saat filter gagal. Selective materialization: Data kolom lainnya hanya diambil dan dimaterialisasi jika baris tersebut memang memenuhi syarat. Dengan cara ini, data untuk kolom lebar yang tidak relevan tidak pernah ditarik dari disk atau didekompresi. Filter kolom secara efektif berfungsi sebagai indeks. Karena fitur ini berasal langsung dari data kolom, ia dapat beradaptasi dengan berbagai jenis filter tanpa perlu membangun atau memelihara indeks tambahan. Keputusan Berbasis Biaya untuk Efisiensi Optimal Penting untuk dicatat bahwa Implied Indexing adalah keputusan berbasis biaya. Fitur ini tidak selalu aktif secara otomatis. Pengoptimal query akan mengevaluasi apakah metode ini lebih murah dibandingkan pemindaian sekuensial biasa. Jika penghematan dari pengurangan I/O lebih besar daripada overhead pengecekan indeks, maka fitur ini akan digunakan. Ini adalah pendekatan yang sangat efisien karena menghindari penggunaan berlebih pada query yang sebenarnya tidak membutuhkannya. Anda tetap mendapatkan performa terbaik tanpa harus melakukan konfigurasi manual yang rumit. Hasil Uji Data: Performa yang Signifikan Berdasarkan pengujian pada tabel AOCO dengan 10 juta baris, terdapat tiga faktor utama yang mempengaruhi keuntungan penggunaan Implied Indexing: 1. Selektivitas Data Semakin sedikit baris yang cocok (selektivitas tinggi), semakin besar keuntungan yang didapat. Dalam pengujian, performa meningkat hingga 10x lebih cepat dibandingkan pemindaian standar pada tingkat selektivitas yang sangat tinggi. 2. Ukuran Target List Proyeksi kolom yang lebih banyak memberikan hasil yang lebih baik. Karena mesin tidak perlu mematerialisasi banyak kolom untuk baris yang tidak relevan, penghematan sumber daya menjadi jauh lebih terasa pada query yang kompleks. 3. Kompleksitas Operator (AND vs OR) Untuk operator AND, performa tetap terjaga karena fitur short-circuiting. Sedangkan untuk operator OR, keuntungan menurun seiring bertambahnya jumlah filter karena setiap kolom harus tetap dipindai. Kesimpulan Implied Indexing di Tanzu Greenplum 7.6 menawarkan jalan keluar dari dilema klasik penyimpanan kolom. Teknologi ini memberikan akses data yang terarah dan cepat tanpa biaya pemeliharaan indeks yang mahal. Dengan mengotomatisasi keputusan pengoptimalan berdasarkan biaya, organisasi kini dapat menikmati analitik yang lebih cepat dan efisien secara default. Sebagai langkah selanjutnya, nantikan pembahasan bagian kedua di mana kita akan mengupas bagaimana Tanzu Greenplum 7.9 meningkatkan efisiensi melalui Early Join Filtering. Inovasi ini akan membawa efisiensi membaca sedikit data lebih awal ke dalam operasi join yang lebih kompleks. Vmware Indonesia merupakan bagian dari PT. iLogo Infralogy Indonesia, yang bertindak sebagai partner resmi Vmware. Selain itu, kami juga berperan sebagai penyedia layanan (vendor) sekaligus distributor berbagai produk Infrastruktur IT dan Cybersecurity terbaik di Indonesia.

Read More
November 9, 2026

Early Join Filtering: Optimasi Performa Tanzu Greenplum

Mengenal Early Join Filtering dalam Tanzu Greenplum Pada seri artikel sebelumnya, kita telah membahas bagaimana Vmware Tanzu Greenplum 7.6 memperkenalkan Implied Indexing. Fitur ini berhasil mengatasi inefisiensi pada tabel Append-Optimized Columnar (AOCO). Dengan mengoptimalkan kueri WHERE-clause yang selektif, Implied Indexing memastikan bahwa hanya baris yang relevan yang diproses. Namun, efisiensi ini belum sepenuhnya dirasakan pada semua jenis hash joins. Kini, Tanzu Greenplum 7.9 menghadirkan Early Join Filtering (EJF) yang memperluas filosofi “baca lebih sedikit, putuskan lebih awal” ke dalam operasi hash joins. Teknologi ini menyaring baris yang tidak cocok sebelum data kolom payload dimaterialisasi. Hasilnya, kecepatan kueri meningkat drastis menyerupai tabel berindeks tanpa perlu beban pemeliharaan yang berat. Mengapa Join Selektif Menjadi Masalah Performa? Mari kita bayangkan sebuah join yang sangat selektif, di mana hanya 1% baris dalam tabel fakta yang cocok dengan tabel dimensi. Dalam eksekusi standar, mesin database harus melakukan dekompresi dan materialisasi terhadap seluruh kolom payload pada 100% baris tabel fakta. Padahal, 99% dari upaya tersebut akan sia-sia karena baris tersebut tidak lolos kriteria join. Pada penyimpanan kolom (columnar storage), dekompresi sering kali menjadi biaya komputasi yang paling mahal. Proses ini membuang banyak sumber daya CPU dan I/O untuk data yang sebenarnya tidak dibutuhkan. Kueri dengan filter selektif yang berujung pada join adalah skenario utama yang perlu dioptimalkan agar operasional database menjadi lebih ramping dan efisien. Cara Kerja Early Join Filtering Early Join Filtering bekerja dengan cara mengevaluasi kolom kunci join secara langsung. Langkah ini dilakukan sebelum kolom lainnya dibaca dari disk. Dengan membuang baris yang tidak memenuhi kriteria sejak dini, sistem menghindari beban kerja yang tidak perlu. EJF menggunakan filter Bloom yang ringkas dari sisi build (sisi tabel yang membangun hash table). Filter ini didorong langsung ke lapisan pemindaian (scan layer). Baris yang tidak cocok akan langsung dibuang saat pemindaian berlangsung. Pendekatan ini sangat efektif untuk mencegah kelebihan beban pada langkah late-materialization. Keamanan dan Keandalan Fitur Untuk memastikan performa tetap optimal dalam berbagai kondisi, Vmware telah menyertakan mekanisme pengaman (guardrails) dalam EJF. Fitur ini dirancang agar tidak memperlambat kueri yang sudah efisien: Penghitungan Biaya (Planner Costing): Optimizer hanya memilih jalur EJF jika dirasa jauh lebih murah daripada hash join standar. Pemutus Sirkuit Sisi Build: Jika jumlah kunci unik terlalu tinggi hingga menyebabkan false-positive, sistem akan menonaktifkan filter secara otomatis agar tidak membuang CPU. Adaptif Sisi Probe: Sistem melakukan pengambilan sampel data secara real-time untuk memantau efektivitas filter. Jika filter tidak bekerja optimal, sistem akan menonaktifkannya untuk sisa proses. Analisis Performa Benchmark Berdasarkan pengujian TPC-DS (Skala 1000), penerapan Early Join Filtering memberikan dampak positif yang signifikan. Secara total, waktu eksekusi beban kerja berkurang sebesar 14,83%. Tercatat sebanyak 91 dari 99 kueri mengalami peningkatan kecepatan yang nyata. Secara statistik, peningkatan median per kueri mencapai 26,91%, dengan akselerasi tercepat mencapai 79,86%. Hal ini membuktikan bahwa efisiensi pada level penyimpanan adalah kunci utama dalam menangani dataset besar di tingkat perusahaan. Kesimpulan: Masa Depan Columnar Storage Dengan menggabungkan Implied Indexing dan Early Join Filtering, Vmware mengubah ekspektasi kinerja untuk penyimpanan kolom. Tim data tidak lagi harus memilih antara efisiensi penyimpanan AOCO dan kecepatan kueri dari indeks tradisional. Inovasi ini memastikan sumber daya komputasi hanya digunakan untuk data yang benar-benar relevan. Sebagai langkah strategis, adopsi teknologi ini akan menurunkan biaya operasional dan mempercepat pengambilan keputusan berbasis data. Vmware Indonesia merupakan bagian dari PT. iLogo Infralogy Indonesia, yang bertindak sebagai partner resmi Vmware. Selain itu, kami juga berperan sebagai penyedia layanan (vendor) sekaligus distributor berbagai produk Infrastruktur IT dan Cybersecurity terbaik di Indonesia.

Read More

Categories

  • blog

Popular Tags

Agentic AI AI Artificial Intelligence Automation Cloud Cloud Computing Cloud Foundation Cloud Infrastructure Cloud Native Cloud Security Cloud Storage Columnar Storage Confidential Computing Cybersecurity Data Analytics Database Management Database Optimization Data Center Data Protection Data Warehouse Digital Transformation Enterprise IT Infrastructure as Code Infrastruktur IT Intel TDX IT Infrastructure Kedaulatan Data Kubernetes Kubernetes API OpenAPI private cloud SDK Generation sentinelone sentinelone indonesia Tanzu Greenplum VCF VCF 9.1 Virtualisasi VMware VMware Cloud Foundation VMware indonesia VMware Tanzu vSAN vSphere vSphere API

Services

  • Local State
  • Virtual Controller
  • Service Assurance
  • Cloud Managed Systems
  • Network Controllers

Services

  • Local State
  • Virtual Controller
  • Service Assurance
  • Cloud Managed Systems
  • Network Controllers

Services

  • Local State
  • Virtual Controller
  • Service Assurance
  • Cloud Managed Systems
  • Network Controllers

Layanan

  • Local State
  • Virtual Controller
  • Service Assurance
  • Cloud Managed Systems
  • Network Controllers

VMWare Indonesia adalah bagian dari PT. iLogo Infralogy Indonesia, yang bertindak sebagai partner resmi VMWare. Selain itu, kami juga berperan sebagai penyedia layanan (vendor) sekaligus distributor berbagai produk Infrastruktur IT dan Cybersecurity terbaik di Indonesia.

Kontak Kami

PT iLogo Indonesia

AKR Tower – 9th Floor
Jl. Panjang no. 5, Kebon Jeruk
Jakarta Barat 11530 – Indonesia

  • vmware@ilogoindonesia.id