Semalt Menyarankan 5 Langkah Untuk Mengikis Halaman Web
Scrapy adalah sumber terbuka dan kerangka kerja untuk mengekstraksi informasi dari situs web yang berbeda. Menggunakan API dan ditulis dalam Python. Scrapy saat ini dikelola oleh perusahaan pengikis web bernama Scrapinghub Ltd.
Ini adalah tutorial sederhana tentang cara menulis perayap web menggunakan Scrapy, parse Craigslist dan menyimpan informasi dalam format CSV. Lima langkah utama tutorial ini disebutkan di bawah ini:
1. Buat proyek Scrapy baru
2. Tulis laba-laba untuk merayapi situs web dan mengekstrak data
3. Ekspor data yang tergores menggunakan baris perintah
4. Ubah laba-laba untuk mengikuti tautan
5. Gunakan argumen laba-laba
1. Buat proyek
Langkah pertama adalah membuat proyek. Anda harus mengunduh dan menginstal Scrapy. Di bilah pencariannya, Anda harus memasukkan nama direktori tempat Anda ingin menyimpan data. Scrapy menggunakan spider yang berbeda untuk mengekstraksi informasi, dan spider ini membuat permintaan awal untuk membuat direktori. Untuk membuat laba-laba berfungsi, Anda harus mengunjungi daftar direktori dan memasukkan kode tertentu di sana. Mengawasi file di direktori Anda saat ini dan perhatikan dua file baru: quotes-a.html dan quotes-b.html.
2. Tulis laba-laba untuk merayapi situs web dan mengekstrak data:
Cara terbaik untuk menulis laba-laba dan mengekstrak data adalah dengan membuat penyeleksi yang berbeda di kulit Scrapy. Anda harus selalu menyertakan URL dalam tanda kutip; jika tidak, Scrapy akan mengubah sifat atau nama URL tersebut secara instan. Anda harus menggunakan tanda kutip ganda di sekitar URL untuk menulis laba-laba dengan tepat. Anda harus menggunakan.extract_first () dan menghindari kesalahan indeks.
3. Ekspor data yang tergores menggunakan baris perintah:
Penting untuk mengekspor data yang tergores menggunakan baris perintah. Jika Anda tidak mengekspornya, Anda tidak akan mendapatkan hasil yang akurat. Laba-laba akan menghasilkan direktori berbeda yang berisi informasi bermanfaat. Anda harus menggunakan kata kunci hasil Python untuk mengekspor informasi ini dengan cara yang lebih baik. Mengimpor data ke file JSON dimungkinkan. File JSON berguna untuk programmer. Alat seperti JQ membantu mengekspor data yang tergores tanpa masalah.
4. Ubah laba-laba untuk mengikuti tautan:
Dalam proyek kecil, Anda dapat mengubah laba-laba untuk mengikuti tautan dengan tepat. Tapi itu tidak perlu dengan proyek pengikisan data berukuran besar. File placeholder untuk Item Pipelines akan disiapkan saat Anda mengubah laba-laba. File ini dapat ditemukan di bagian tutorial / pipelines.py. Dengan Scrapy, Anda dapat membangun laba-laba canggih dan mengubah lokasi mereka kapan saja. Anda dapat mengekstraksi banyak situs sekaligus dan melakukan berbagai proyek ekstraksi data.
5. Gunakan argumen spider:
Callback parse_author adalah argumen spider yang dapat digunakan untuk mengekstrak data dari situs web dinamis. Anda juga dapat memberikan argumen baris perintah ke laba-laba dengan kode tertentu. Argumen laba-laba menjadi atribut laba-laba dalam waktu singkat dan mengubah tampilan keseluruhan data Anda.
Dalam tutorial ini, kami hanya membahas dasar-dasar Scrapy. Ada banyak fitur dan opsi untuk alat ini. Anda hanya perlu mengunduh dan mengaktifkan Scrapy untuk mengetahui lebih lanjut tentang spesifikasinya.