Early Join Filtering: Optimasi Performa Tanzu Greenplum

Mengenal Early Join Filtering dalam Tanzu Greenplum

Pada seri artikel sebelumnya, kita telah membahas bagaimana Vmware Tanzu Greenplum 7.6 memperkenalkan Implied Indexing. Fitur ini berhasil mengatasi inefisiensi pada tabel Append-Optimized Columnar (AOCO). Dengan mengoptimalkan kueri WHERE-clause yang selektif, Implied Indexing memastikan bahwa hanya baris yang relevan yang diproses. Namun, efisiensi ini belum sepenuhnya dirasakan pada semua jenis hash joins.

Kini, Tanzu Greenplum 7.9 menghadirkan Early Join Filtering (EJF) yang memperluas filosofi “baca lebih sedikit, putuskan lebih awal” ke dalam operasi hash joins. Teknologi ini menyaring baris yang tidak cocok sebelum data kolom payload dimaterialisasi. Hasilnya, kecepatan kueri meningkat drastis menyerupai tabel berindeks tanpa perlu beban pemeliharaan yang berat.

Mengapa Join Selektif Menjadi Masalah Performa?

Mari kita bayangkan sebuah join yang sangat selektif, di mana hanya 1% baris dalam tabel fakta yang cocok dengan tabel dimensi. Dalam eksekusi standar, mesin database harus melakukan dekompresi dan materialisasi terhadap seluruh kolom payload pada 100% baris tabel fakta. Padahal, 99% dari upaya tersebut akan sia-sia karena baris tersebut tidak lolos kriteria join.

Pada penyimpanan kolom (columnar storage), dekompresi sering kali menjadi biaya komputasi yang paling mahal. Proses ini membuang banyak sumber daya CPU dan I/O untuk data yang sebenarnya tidak dibutuhkan. Kueri dengan filter selektif yang berujung pada join adalah skenario utama yang perlu dioptimalkan agar operasional database menjadi lebih ramping dan efisien.

Cara Kerja Early Join Filtering

Early Join Filtering bekerja dengan cara mengevaluasi kolom kunci join secara langsung. Langkah ini dilakukan sebelum kolom lainnya dibaca dari disk. Dengan membuang baris yang tidak memenuhi kriteria sejak dini, sistem menghindari beban kerja yang tidak perlu.

EJF menggunakan filter Bloom yang ringkas dari sisi build (sisi tabel yang membangun hash table). Filter ini didorong langsung ke lapisan pemindaian (scan layer). Baris yang tidak cocok akan langsung dibuang saat pemindaian berlangsung. Pendekatan ini sangat efektif untuk mencegah kelebihan beban pada langkah late-materialization.

Keamanan dan Keandalan Fitur

Untuk memastikan performa tetap optimal dalam berbagai kondisi, Vmware telah menyertakan mekanisme pengaman (guardrails) dalam EJF. Fitur ini dirancang agar tidak memperlambat kueri yang sudah efisien:

  • Penghitungan Biaya (Planner Costing): Optimizer hanya memilih jalur EJF jika dirasa jauh lebih murah daripada hash join standar.
  • Pemutus Sirkuit Sisi Build: Jika jumlah kunci unik terlalu tinggi hingga menyebabkan false-positive, sistem akan menonaktifkan filter secara otomatis agar tidak membuang CPU.
  • Adaptif Sisi Probe: Sistem melakukan pengambilan sampel data secara real-time untuk memantau efektivitas filter. Jika filter tidak bekerja optimal, sistem akan menonaktifkannya untuk sisa proses.

Analisis Performa Benchmark

Berdasarkan pengujian TPC-DS (Skala 1000), penerapan Early Join Filtering memberikan dampak positif yang signifikan. Secara total, waktu eksekusi beban kerja berkurang sebesar 14,83%. Tercatat sebanyak 91 dari 99 kueri mengalami peningkatan kecepatan yang nyata.

Secara statistik, peningkatan median per kueri mencapai 26,91%, dengan akselerasi tercepat mencapai 79,86%. Hal ini membuktikan bahwa efisiensi pada level penyimpanan adalah kunci utama dalam menangani dataset besar di tingkat perusahaan.

Kesimpulan: Masa Depan Columnar Storage

Dengan menggabungkan Implied Indexing dan Early Join Filtering, Vmware mengubah ekspektasi kinerja untuk penyimpanan kolom. Tim data tidak lagi harus memilih antara efisiensi penyimpanan AOCO dan kecepatan kueri dari indeks tradisional. Inovasi ini memastikan sumber daya komputasi hanya digunakan untuk data yang benar-benar relevan.

Sebagai langkah strategis, adopsi teknologi ini akan menurunkan biaya operasional dan mempercepat pengambilan keputusan berbasis data. Vmware Indonesia merupakan bagian dari PT. iLogo Infralogy Indonesia, yang bertindak sebagai partner resmi Vmware. Selain itu, kami juga berperan sebagai penyedia layanan (vendor) sekaligus distributor berbagai produk Infrastruktur IT dan Cybersecurity terbaik di Indonesia.