Tasik data, dijelaskan

Revolusi Data Besar telah mengubah cara kerja perusahaan; data mendasar segala-galanya. Bukan sahaja alat-alat sumber terbuka seperti Apache Hadoop dan Spark membuat jumlah data yang lebih mudah untuk dikumpulkan, diproses, dan disimpan dalam masa nyata, namun alat perisikan perniagaan (BI) dan alat visualisasi data telah membantu kami menggaru permukaan menganalisis dan mengubah data tersebut untuk memaklumkan keputusan perniagaan teras.

Walaupun, walaupun betapa besar teknologi Big Data dan BI telah berkembang, kami masih berhadapan dengan jumlah besar-besaran yang terus-menerus menggabungkan data yang mencari titik yang tepat untuk menganalisis masih terasa seperti menyelam untuk jarum dalam rumput kering yang tidak berkesudahan. Penyelesaian? Ubah semula rumput kering.

Masukkan tasik data, jenis baru arkitek perusahaan berasaskan awan yang menyusun data dengan cara yang lebih berskala yang menjadikannya mudah untuk bereksperimen dengan; menjadikannya lebih terbuka untuk penerokaan dan manipulasi daripada dikunci dalam skema tegar dan silo. Nasry Angel, Penyelidik Senibina Perusahaan di Penyelidikan Forrester, menjelaskan mengapa perusahaan merangkumi arkitek tasik data.

"Kedengarannya klise, tetapi apabila anda memikirkan persekitaran data moden yang berkesan, ia lebih eksperimen, " kata Angel. "Anda perlu belajar dengan cepat dan tidak cepat. Pada masa lalu, menguruskan data, terutamanya dalam sebuah gudang, adalah mengenai kualiti, turun ke titik perpuluhan, memastikan semuanya benar dan benar. versi kebenaran. Kemudian menghasilkan laporan yang sempurna piksel dan meletupkannya kepada 5, 000 pengguna.

"Pada masa kini, ia adalah satu proses yang lebih saintifik. Anda berjalan dengan hipotesis mengenai data yang anda mahu ujian dan anda mahu dapat bermain dengan data, campuran dan perlawanan, untuk mencuba pelbagai perkara sebelum anda pergi dan menghasilkan sesuatu."

Apa itu Tasik Data?

Tasik data adalah repositori penyimpanan. Walaupun, tidak seperti gudang data atau "mart data, " Malaikat menjelaskan bahawa tasik data diedarkan ke atas pelbagai nod dan bukannya dalam persekitaran tetap yang berstruktur gudang data yang bergantung pada skema (lihat infographic di bawah).

"Tasik data membolehkan anda menggunakan skema apabila anda menulis data berbanding gudang data yang memerlukan anda membuat skema pada bacaan. Oleh itu, pada dasarnya, gudang data memerlukan anda memodelkan data sebelum anda memahami konteksnya, yang tidak 'benar-benar masuk akal, ' kata Angel.

Sumber: JustOne Database, Inc. (Klik pada grafik di atas untuk melihat paparan penuh.)

"Biasanya, di dalam gudang, anda mempunyai profesional IT yang datang dengan apa yang mereka fikir adalah model data terbaik, dan mereka bukan pengguna data akhir. Anda dengan cepat dapat melihat bagaimana ia menghalangi produktiviti dan nilai perniagaan, " katanya.. "Pada akhirnya, anda dan pengguna perniagaan perlu menjadi orang yang membuat keputusan tentang struktur data, dan, dalam tasik data, anda boleh terlebih dahulu meneroka dan mengetahui apa yang ada dan kemudian mencari skema untuk mengaturnya dengan sebaik-baiknya."

Tasik data lazimnya dibina di atas Hadoop, dan pengedaran Hadoop perusahaan seperti Hortonworks dan MapR menawarkan data tasik tasik. Perniagaan juga boleh membina tasik data dengan menggunakan awan Infrastruktur-sebagai-Perkhidmatan (IaaS) termasuk Amazon Web Services (AWS) dan Microsoft Azure. Amazon Elastic Compute Cloud (EC2) menyokong tasik data sementara Microsoft mempunyai platform Azure Data Lake khusus untuk menyimpan dan menganalisis data masa nyata. Angel berkata, tasik data matang hingga ke dalam ruang Big Data di mana perniagaan boleh mula melabur dengan keyakinan yang munasabah.

"Beberapa tahun lalu, Hadoop adalah kemarahan, kini kami sampai pada titik di mana Hadoop telah direkodkan, " kata Angel. "Persoalannya bukan jika Hadoop tetapi bila, dan apa yang anda akan lakukan dengannya. Apakah jenis aplikasi yang anda akan bina di atas Hadoop sebaik sahaja anda mendapat data ke tempat yang sama seperti tasik data? Pada ketika ini, ia menggunakan data untuk membangunkan aplikasi untuk memenuhi keperluan perniagaan tertentu anda."

Bangunan di Atas Waduk Data

Bahagian yang paling menarik mengenai Big Data adalah semua kemungkinan ia membuka kunci. Sebaik sahaja anda telah menyediakan tasik data untuk bermain dan bereksperimen dengan kombinasi data yang berbeza dan hasil perniagaan, anda boleh memulakan teknik analisa inovatif di atas.

Algoritma pembelajaran komputer (ML) telah menjadi sebahagian daripada fabrik infrastruktur awan, dan para penyelidik sentiasa memperbaiki teknik pembelajaran mendalam dan rangkaian saraf untuk melatih mesin dan sistem data untuk mengenali corak kompleks. Analisa ramalan sedang dipanaskan ke dalam alat-alat data dan platform perusahaan yang lebih banyak, digunakan untuk segala-galanya daripada pemarkahan ramalan dan segmen automatik untuk pengurusan hubungan pelanggan (CRM) untuk mengenal pasti trend pasaran kewangan dan terlebih dahulu menangkap kegagalan mekanikal dalam jentera.

Semua ini berlaku di atas apa sahaja data menyimpan perniagaan anda memberi makan dan penskalaan mengikut keperluannya. Angel bercakap mengenai beberapa kes penggunaan dunia nyata di mana dia melihat tasik data mengubah cara organisasi berfungsi.

"Saya bekerja dengan syarikat penerbitan yang mempunyai portfolio majalah berbeza-mereka mempunyai penerbitan untuk peguam, yang lain untuk akauntan, yang lain untuk perunding, dan lain-lain-dan setiap penerbitan mempunyai gudang data tersendiri. Berkesan, setiap penerbitan mempunyai sendiri silo, "jelas Angel.

"Oleh itu, kita mengekstrak semua data dari sebuah gudang dan memasukkannya ke dalam tasik data, dan tasik data membenarkan mereka melihat silos. Mereka dapat meneroka data dan melakukan penemuan data, dan sedar bahawa merentasi semua penerbitan yang berbeza ini, Pelanggan dari setiap majalah tertarik dengan keselamatan siber. Pembaca untuk keselamatan siber adalah kuat dalam semua peranan yang berbeza, jadi apa yang mereka lakukan? Mereka membuat keselamatan cybersecurity tema persidangan tahunan mereka.

Satu lagi contoh Angel yang bercakap adalah e-dagang. Pelanggan lain, peruncit seni dalam talian, telah membuang satu ton maklumat ke dalam tasik data dan menggunakannya bukan sahaja sebagai repositori tetapi sebagai kanvas jenis untuk menyatukan pandangan perniagaan. Peruncit membawa data urus niaga (pesanan, invois, pembayaran, dan sebagainya), klik data peralihan (setiap klik tapak dan laman web pelawat pengunjung), dan data dari gudang data peruncit semua ke dalam tasik, dan menggunakannya bersama untuk memerangi troli beli-belah pengabaian dan penukaran.

"Anda ingin membina di atas tasik data dan menggunakannya untuk merumuskan wawasan perniagaan yang kompleks, " kata Malaikat. "Peruncit seni dapat melihat data aliran klik pelanggan dan memadankan klik dengan profil pelanggan, kemudian gunakan data transaksional untuk melihat apa yang dibeli pelanggan di masa lalu dan menggunakan pandangan tersebut untuk menjalankan kempen e-mel yang sangat spesifik. Jadi, jika pelanggan ditinggalkan gerai mereka, peruncit boleh mengikuti dua jam kemudian dan berkata, 'Kami melihat anda sedang memeriksa Picasso ini; inilah pautan jika anda mahu melihatnya lagi.'"

Tasik data secara universal boleh digunakan di semua jenis kes penggunaan perniagaan. Tetapi, bagi Ketua Pegawai Teknikal (CTO) atau Ketua Pegawai Keselamatan Maklumat (CISO) memandangkan berpindah ke seni bina, Angel menegaskan bahawa gudang data tidak lagi usang, bukan dengan sebarang peregangan. Bagi kebanyakan organisasi perusahaan, sama ada anda menggunakan pembekal awan atau pengedaran Hadoop tersuai, perniagaan masih memerlukan kedua-duanya.

Tasik data memberikan anda akses kepada pandangan yang tidak dapat dilihat dengan menghapus batas-batas data yang sesuai dengan skema tertentu, dan datang dengan jumlah pemilikan keseluruhan yang lebih rendah memandangkan penggunaan penyimpanan awan yang murah dan fleksibel seperti AWS untuk meningkatkan dan menurunkan sementara hanya membayar untuk kuasa pemprosesan yang anda gunakan. Menjalankan gudang data adalah lebih mahal dan, akibatnya, menjadikan profesional IT lebih selektif tentang data yang masuk dan keluar. Tetapi untuk data misi kritikal paling perusahaan, itu bukan perkara yang buruk.

"Gudang data mempunyai kelebihan dari segi keselamatan dan menjadi alat yang sangat mudah untuk mengawal tadbir urus data, " kata Malaikat. "Jadi, anda masih ingin menyimpan maklumat yang paling sensitif di dalam gudang, barang-barang misi kritikal. Tetapi apabila ia membuka peluang perniagaan baru dan menemui pandangan tersembunyi, anda ingin memanfaatkan tasik data."