Pengarang: Rory McManus
Awalnya diterbitkan di Towards AI the World’s Leading AI and Technology News and Media Company. Jika Anda sedang membangun produk atau layanan terkait AI, kami mengundang Anda untuk mempertimbangkan untuk menjadi sponsor AI. Di Towards AI, kami membantu menskalakan AI dan startup teknologi. Biarkan kami membantu Anda melepaskan teknologi Anda kepada massa.
IoT Real-Time Analytics — WAGO PLC dengan Databricks Auto Loader
Bisnis modern memiliki banyak sekali data yang tersedia untuk mereka dari sejumlah besar perangkat dan aplikasi IoT dalam format file yang luas dan beragam. Data ini bisa sangat memakan waktu dan rumit untuk dicerna dan diubah menjadi format yang dapat dibaca dan bermanfaat. Auto Loader adalah alat luar biasa dari Databricks yang menyederhanakan solusi, memastikan otomatisasi penuh proses, dan memungkinkan pengambilan keputusan waktu nyata.
Databricks adalah platform analitik data besar skalabel yang dirancang untuk ilmu data dan rekayasa data serta integrasi dengan platform cloud utama Amazon Web Services, Microsoft Azure, dan Google Cloud Platform.
Auto Loader adalah fitur Databricks untuk melakukan streaming atau secara bertahap menyerap dan mengubah jutaan file per jam dari data lake membaca file yang baru tiba. Untuk penjelasan rinci tentang Databricks Auto Loader, klik di sini.
Data Mastery baru-baru ini menerapkan solusi Auto Loader dengan OEM di industri pertambangan untuk menyerap dan mengubah data telemetri dari perangkat WAGO PLC ke IoT Hub. Sebelumnya, OEM secara manual mengunduh file data di situs, kemudian secara manual mengubah file data menggunakan excel untuk menghasilkan laporan yang dapat dibaca. Auto Loader sepenuhnya mengotomatiskan proses ini dan mengirimkan laporan yang dapat dibaca secara otomatis, menghilangkan satu jam kerja pemrosesan data manual per shift, menghemat lebih dari 21+ jam kerja per minggu per situs (operasi 24 jam). Tak perlu dikatakan, klien kami senang dengan hasilnya!
Cara mencerna dan mengubah data perangkat WAGO PLC
Dalam artikel ini, saya akan menjelaskan apa yang kami lakukan untuk membuat solusi streaming untuk menyerap dan mengubah data WAGO PLC yang dikirim ke hub IoT dari beberapa situs dan perangkat.
Data dimulai dalam register Unicode 1000x 16-bit. Ini digunakan untuk perhitungan dalam bahasa rakitan ARM yang digunakan oleh MRA dan di PLC.
Dalam hal ini, pengkodean dalam register biner dibagi lagi untuk membawa lebih dari satu informasi. Contohnya adalah pengkodean tanggal dan waktu, di mana detik dan menit dikodekan dalam register 16-bit yang sama.
Sementara data disimpan pada perangkat WAGO PLC sebagai register 16-bit, data tersebut dikirim ke hub IoT sebagai register Unicode 2000x 8-bit untuk mengurangi ukuran paket yang dikirim. Oleh karena itu perlu diubah kembali menjadi register 16-bit dari 8-bit sebagai bagian dari transformasi ke dalam format yang dapat dibaca.
Larutan
Solusi yang digunakan mengikuti langkah-langkah tingkat tinggi di bawah ini:
Pesan WAGO PLC dikirim ke Azure IoT Hub, di mana pesan ini dirutekan ke wadah Penyimpanan Azure tertentu dalam format JSON berdasarkan DeviceId mereka. Saat file mendarat di Wadah Penyimpanan, pelanggan yang dibuat Grid Acara membuat pesan di Antrean Penyimpanan Azure dengan lokasi dan nama file baru. Databricks Auto Loader memeriksa Antrean Penyimpanan untuk pesan baru dan membaca aliran file ke dalam kerangka data saat mereka tiba.
Dataframe masukan kemudian diubah dari 2000x 8-bit Unicode register kembali ke 1000x 16-bit Unicode register dan selanjutnya ke format yang diinginkan, misalnya, Tonase Per Jam, Hari, Bulan Tahun, dll. Dataframe yang diubah kemudian ditambahkan ke Delta Tabel untuk konsumsi Power BI.
Prasyarat
Mengonfigurasi perangkat WAGO PLC untuk mengirim pesan ke Azure IoT Hub Daftarkan prinsip layanan Azure — digunakan untuk pembuatan otomatis Kisi/Langganan dan Antrean Penyimpanan. Atau, Anda dapat membuat layanan secara manual jika Anda ingin Membuat tanda tangan akses bersama Antrian Penyimpanan dengan izin berikut:
Buat rahasia Azure Key Vault berikut untuk SubscriptionId, TenantId, Bronze-Queue-ConnectionString (dibuat di atas), Service Principal ClientId & ClientSecret (dibuat di atas)
Untuk membuat solusi streaming Auto Loader, langkah-langkah berikut harus diselesaikan.
Konfigurasikan perangkat WAGO PLC untuk mengirim pesan ke Azure IoT Hub Rutekan pesan IoT Hub yang masuk ke wadah penyimpanan tertentu dengan memfilter pada DeviceId Buat fungsi PySpark untuk menggunakan cloud sumber aliran terstruktur SparkFile untuk dibaca dari input wadah penyimpanan ADLS Gen2 Buat fungsi PySpark untuk diubah aliran file input ke kolom output yang diinginkan Tulis aliran atau kumpulan dataframe ke tabel Delta Databricks Test
Langkah-langkah terperinci:
Konfigurasikan WAGO PLC untuk mengirim pesan ke hub Azure IoT Rutekan pesan Hub IoT yang masuk ke wadah penyimpanan tertentu bergantung pada DeviceId
2.1. Buat Endpoint khusus ke wadah penyimpanan ADLS Gen2
IoT Hub Perutean pesan Titik akhir khusus Tambah
2.2. Buat rute dan tambahkan kueri untuk difilter menurut DeviceId
IoT Hub Perutean pesan Rute Tambah
3. Buat fungsi PySpark untuk membaca file yang baru tiba di antrian penyimpanan
4. Buat fungsi PySpark untuk mengubah kerangka data aliran file input ke kolom output yang diinginkan.
CATATAN: Saya hanya menambahkan transformasi sampel karena banyaknya transformasi
6. Uji
Jalankan proses end-to-end untuk mengecek apakah data sudah dimasukkan ke dalam tabel.
Kesimpulan
Auto Loader adalah alat luar biasa yang dapat diterapkan di semua bisnis di sektor apa pun untuk mendapatkan manfaat dari solusi sederhana, hemat waktu, dan data waktu nyata.
Saya harap Anda telah menemukan ini bermanfaat dan akan menghemat uang dan waktu perusahaan Anda untuk memulai dengan Databricks Auto Loader, dan saya harap ini akan membantu mendorong wawasan untuk memberi nilai pada bisnis Anda.
Jika Anda menginginkan salinan kode saya, silakan kirimkan saya pesan di LinkedIn, atau jika Anda menikmati membaca sebanyak saya menulis, silakan bagikan dengan teman-teman Anda.
IoT Real Time Analytics — WAGO PLC dengan Databricks Auto Loader awalnya diterbitkan di Towards AI on Medium, di mana orang-orang melanjutkan percakapan dengan menyoroti dan menanggapi cerita ini.
Diterbitkan melalui Menuju AI
