Veri ve e-ticaret
Veri toplama ve kazıma
Sitelerden, açık listelerden ve zaten kullandığınız panellerden veri topluyorum; sonra temizleyip eşleştiriyorum ki bir siteye, tabloya ya da sisteme girebilsin. Bir şey toplamadan önce her kaynağın neye izin verdiğine bakıyorum.
Neler dahil
- Sitelerden ve panellerden
- Herkese açık sayfalar, indirilebilir listeler ya da erişim verdiğinizde kendi satıcı veya yönetim paneliniz.
- Temizleme ve eşleştirme
- Tekrarlar ayıklanır, adlar tek biçimde yazılır, farklı kaynaklardaki kayıtlar tek satırda birleşir.
- Kapsam kontrolü
- Verinin ihtiyacınızın ne kadarını gerçekten karşıladığını ölçer, eksik kalanı listelerim.
- Kaynak ve lisans notu
- Her kaynak için ne olduğu ve sitede gösterilebilir mi, yalnız içeride mi kullanılabilir.
- İstediğiniz biçimde
- Excel, CSV, JSON ya da doğrudan veritabanınıza veya sitenize.
- Tekrar çalıştırılabilir
- Veri değişiyorsa toplama, kimse elle yapmadan belirli aralıklarla yeniden çalışabilir.
Nasıl ilerler
- 01
Hangi veriye ihtiyacınız olduğunu anlatırsınız
Ne için kullanılacak, bildiğiniz kaynaklar hangileri.
- 02
Kaynaklara ve kurallara bakarım
Hangi kaynaklar var, ücretsiz mi ücretli mi, kullanım şartları neye izin veriyor; ardından kapsamı ve fiyatı netleştiririz.
- 03
Toplar ve temizlerim
Erkenden bir örnek gönderirim; tam toplamadan önce sütunları birlikte oturturuz.
- 04
Teslim
Veriyle birlikte kaynak ve eksik notları gelir; isterseniz yeniden çalıştırmak için betik de.
Süre neye bağlı. Süre kaynak sayısına, sitelerin nasıl yapıldığına ve verinin ne kadar temizlik istediğine bağlı. Kaynaklara baktıktan sonra süreyi birlikte belirleriz.
Sorular
Bir siteden veri toplamak yasal mı?
Sitenin kullanım şartlarına ve verinin ne olduğuna bağlı. Önce şartları okurum, yasakladığı şeyi toplamam; kişisel veriyi de KVKK'ya uygun bir dayanak olmadan toplamam.
Topladığınız veriyi kendi sitemde gösterebilir miyim?
Her zaman değil. Bazı listeler içeride kullanılabilir ama yayımlanamaz. Bunu her kaynak için not ederim, üzerine bir şey kurmadan önce bilirsiniz.
Site değişirse ne olur?
Site düzenini değiştirince toplama bozulabilir. Düzenli çalışıyorsa takip eder, düzeltirim; bunu baştan konuşuruz.
Anlatın
Birkaç hızlı seçim, sonra iletişim bilgileriniz. Bir dakika sürer, e-postayla dönüş yaparım.
Adım 1 / 3