Foto oleh Toa Heftiba di Unsplash
Pertukaran data secara real-time di seluruh domain dan aplikasi merupakan tantangan; ketidakcocokan format data, latensi dan set data usang, masalah kualitas, dan kurangnya metadata dan konteks.
Menggunakan Linked Data Event Stream (LDES), data dapat dibagikan dengan lancar antara berbagai sistem dan organisasi. Dengan cara ini, perusahaan dan organisasi dapat memastikan bahwa data mereka terstruktur dengan baik, dapat dioperasikan, dan mudah digunakan oleh sistem dan layanan lain. LDES telah muncul sebagai standar untuk mewakili dan berbagi aliran data terkini.
Bukti konsep ini mengeksplorasi bagaimana LDES dapat bertukar dan menggabungkan tiga set data yang berbeda: register alamat, parsel, dan unit bangunan dengan asumsi organisasi yang berbeda menerbitkannya.
Dengan cara ini, perusahaan dan organisasi dapat memastikan bahwa data mereka terstruktur dengan baik, dapat dioperasikan, dan mudah digunakan oleh sistem dan layanan lain.
Jika Anda tidak terbiasa dengan Aliran Peristiwa Data Tertaut, Anda dapat menemukan informasi lebih lanjut tentangnya di artikel ini:
Aliran Peristiwa Data Tertaut dijelaskan dalam 8 menit
Apa yang dimaksud dengan aliran peristiwa Data tertaut, dan bagaimana hal itu dapat membantu Anda membuat data dinamis Anda dapat diakses?
Orientasi Aliran Peristiwa Data Tertaut
Setiap aliran data akhirnya dapat diubah menjadi Aliran Peristiwa Data Tertaut dengan beberapa konversi. Dalam contoh ini, kita mulai dari aliran data yang dikeluarkan melalui Apache Kafka.
Gambar oleh penulis
Aliran data dikonfigurasikan di Apache Nifi yang mengonversi topik Kafka ini ke server LDES. Server LDES adalah komponen yang dapat dikonfigurasi yang digunakan untuk menelan, menyimpan, mengubah, dan (kembali) menerbitkan Aliran Peristiwa Data Tertaut.
Menerbitkan data alamat, unit bangunan dan persil sebagai LDES (Gambar oleh penulis)
Dalam hal ini, aliran data dari persil, unit bangunan, dan pendaftaran data dari Flanders diubah menjadi LDES untuk dipertukarkan dan digabungkan setelahnya. Semua LDES ini memiliki struktur yang sama, selalu sinkron dengan data sumber, dan disajikan dalam format yang dapat dibaca mesin, termasuk metadata dan hubungan, memungkinkan penemuan otomatis dan integrasi informasi di berbagai domain dan aplikasi. Gambar di bawah menunjukkan salah satu bagian dari fragmen LDES registri alamat. Itu menyematkan konteks data dan informasi tentang kota atau kotamadya, nama jalan, alamat lengkap, dan lokasi.
Gambar penulis
Tautkan beberapa Aliran Peristiwa Data Tertaut
Nilai penerbitan kumpulan data melalui spesifikasi LDES terletak pada interlinking data yang mudah antara perusahaan dan organisasi melalui Web. Dengan kemampuan ini, konsumen data dapat menggunakan berbagai kumpulan data menggunakan Klien LDES, memungkinkan pendekatan yang disederhanakan untuk mengakses beragam sumber data.
Untuk tujuan ini, tiga aliran Peristiwa Data Tertaut disimpan dalam GraphDB untuk memfasilitasi konsumsi data yang efisien dan efektif.
Gambar untuk penulis
GraphDB mendukung kueri dan inferensi semantik yang kompleks, memungkinkan penemuan hubungan yang bermakna antara sumber data yang berbeda.
Di repo Github ini, Anda akan menemukan file buruh pelabuhan dengan konfigurasi GraphDB dan Apache NiFi. Aliran data dikonfigurasikan di Apache NiFi untuk mengubah aliran data ini menjadi GraphDB. Anda akan menemukan file konfigurasi Apache NiFi yang berisi aliran data yang diperlukan.
Gambar oleh penulis
Setelah aliran data Apache NiFi dijalankan, anggota LDES akan mengalir ke GraphDB. Selanjutnya, data dapat ditanyakan melalui SPARQL.
Gambar oleh penulis
GraphDB adalah alat yang ampuh untuk menyimpan dan menanyakan data grafik. Namun, ia juga menawarkan berbagai kemungkinan visualisasi yang memungkinkan pengguna menjelajahi dan memahami data mereka dengan cara baru dan intuitif. Salah satu fitur visualisasi paling populer di GraphDB adalah Graph Explorer, yang menyediakan tampilan grafik interaktif dan memungkinkan pengguna untuk menavigasi dan menelusurinya secara real-time. Ini dapat sangat berguna untuk memahami hubungan yang kompleks antara entitas, seperti dalam jaringan sosial atau sistem biologis.
Gambar oleh penulis
permintaan SPARQL
SPARQL adalah bahasa kueri standar dan protokol untuk Data Terbuka Tertaut di web atau untuk triplestore RDF. SPARQL memungkinkan eksekusi kueri semantik melalui data, menawarkan metode yang fleksibel dan kuat untuk mencari, memfilter, dan mengambil informasi terstruktur.
Di bawah ini adalah contoh kueri SPARQL yang ditampilkan, yang mengembalikan tiga kali lipat dengan informasi tentang paket.
PREFIX register bangunan:
MEMBANGUN{
?paket rdf:jenis ?jenis .
?paket prov:generatedAtTime ?generatedAtTime .
?paket ns:localIdentifier ?localIdentifier .
?parcel ns:namespace ?namespace .
?paket ns:versionIdentifier ?versionIdentifier .
} Di mana {
?daftar bangunan parsel:Addressable%20Object address:2327687 .
OPSIONAL { ?perceel rdf:type ?type .
?paket prov:generatedAtTime ?generatedAtTime .
?paket ns:localIdentifier ?localIdentifier .
?parcel ns:namespace ?namespace .
?paket ns:versionIdentifier ?versionIdentifier .}
# ?Pendaftaran bangunan plot:Plot%3Astatus ?status .}
}
Menggabungkan beberapa aliran data melalui semantiknya
Tiga aliran data berisi ID alamat unik yang terhubung masing-masing ke paket, unit bangunan, dan aliran data registri alamat. Melalui penggunaan kueri SPARQL, kami dapat menautkan aliran data ini secara semantik.
Dengan cara ini, mengembangkan REST API yang mengambil RDF yang berisi detail tentang alamat, persil, dan unit bangunan menjadi mungkin. Menggunakan LDES sebagai format data perantara, API ini memastikan bahwa output selalu disinkronkan dengan database sumber.
Gambar oleh penulis
Gambar oleh penulis
Kode lengkap
Untuk mereplikasi seluruh bukti konsep (LDES 2 GraphDB), silakan buka repositori Github ini. Ini menjelaskan cara mengatur GraphDB dan Apache NiFi melalui buruh pelabuhan, setelah itu aliran data dapat dimulai menggunakan file pengaturan Apache NiFi yang disediakan.
GitHub – samuvack/ldes-grar
Dalam Bukti Konsep ini, API Istirahat dikembangkan yang memungkinkan untuk mengumpulkan informasi unit bangunan dan…
Jika Anda menyukai apa yang Anda baca, pastikan untuk ❤️ itu — sebagai seorang penulis, itu berarti dunia. Tetap terhubung dengan mengikuti saya sebagai penulis.
