Veri Bilimi dataset
«dataset» etiketlenmiş sorular
Halka Açık Veri Setleri
Veri bilimindeki yaygın sorunlardan biri, bir şekilde temizlenmiş (yarı yapılandırılmış) bir biçimde çeşitli kaynaklardan veri toplamak ve daha yüksek düzeyde bir analiz yapmak için çeşitli kaynaklardan gelen ölçümleri birleştirmek. Diğer insanların çabalarına, özellikle de bu sitedeki diğer sorulara baktığımızda, bu alandaki birçok insanın tekrarlayan işler yaptığını gösteriyor. Örneğin, tweet'leri, facebook ...
167 open-source dataset
'Dengeli' bir veri seti mi yoksa 'temsilci' bir veri seti mi kullanmalıyım?
'Makine öğrenmesi' görevim, iyi huylu Internet trafiğini kötü amaçlı trafiğe ayırmak. Gerçek dünya senaryosunda, İnternet trafiğinin çoğu (% 90 veya daha fazla) iyi huyludur. Bu yüzden, modelleriimi de eğitmek için benzer bir veri kurulumu seçmem gerektiğini hissettim. Ancak, modelleri eğitmek için eşit miktarda iyi huylu ve kötü niyetli trafik durumlarını ...
48 machine-learning dataset unbalanced-classes
Yüksek derecede dengesiz veri setlerinin eğitimi için hızlı rehber
Eğitim setinde yaklaşık 1000 pozitif ve 10000 negatif örnek ile bir sınıflandırma problemim var. Yani bu veri seti oldukça dengesiz. Düz rastgele ormanlar sadece tüm test örneklerini çoğunluk sınıfı olarak işaretlemeye çalışıyor. Alt örnekleme ve ağırlıklı rastgele ormanlarla ilgili bazı iyi cevaplar burada verilmiştir: Çok taraflı veri kümeleriyle bir Ağaç ...
29 machine-learning classification dataset unbalanced-classes
Halka açık sosyal ağ veri kümeleri / API'leri
Herkese açık veri setleri listemizin bir uzantısı olarak , herkese açık sosyal ağ veri setleri / tarama API'leri listesinin olup olmadığını bilmek istiyorum. Veri kümesi / API'ye bir bağlantı ile birlikte, mevcut verilerin özellikleri eklenmişse çok iyi olurdu. Bu tür bilgiler bunlarla sınırlı olmamalıdır: sosyal ağın adı; ne tür kullanıcı ...
26 open-source dataset crawling
Son modeli eğitmek için tüm veri setini kullanmak her zaman daha iyi olur mu?
Eğitim, doğrulama ve tercih Makine Öğrenme modeli test ettikten sonra ortak bir teknik yetiştirmek, test alt kümesi dahil tam bir veri kümesi kullanmaktır nihai modeli için dağıtmak örneğin bir ürünün onu. Sorum şu: Bunu yapmak her zaman en iyisi midir? Ya performans gerçekten bozulursa? Örneğin, test alt setini sınıflandırırken modelin% ...
24 machine-learning dataset training accuracy
Veri Bilimi Proje Fikirleri [kapalı]
Kapalı . Bu soru görüşe dayalı . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Soruyu güncelleyin, böylece bu yayını düzenleyerek gerçekleri ve alıntıları yanıtlayabileceksiniz . 5 yıl önce kapandı . Bu soruyu sormak için doğru bir yer olup olmadığını bilmiyorum, ama Veri Bilimine adanmış bir topluluk bence ...
23 machine-learning bigdata dataset
Orijinal veri seti ile öğrenilen makine öğrenme modelini kullanarak sentetik veri seti nasıl oluşturulur?
Genellikle, makine öğrenme modeli veri kümeleri üzerine inşa edilmiştir. Orijinal veri seti özelliklerini koruyan bu tür eğitimli makine öğrenme modelini kullanarak sentetik veri kümesi oluşturmanın herhangi bir yolu olup olmadığını bilmek ister misiniz? [orijinal veri -&gt; makine öğrenme modeli inşa -&gt; sentetik veri üretmek için ml modelini kullanın .... !!!] ...
19 machine-learning dataset
Resmi Olmayan Metin Üzerinde Adlandırılmış Varlık Tanıma için Veri Kümesi
Şu anda resmi olmayan metinden (tweet'lere benzer bir şey) adlandırılmış varlıkları çıkarmak için bir model eğitmek için etiketli veri kümeleri arıyorum. Büyük / küçük harf ve dilbilgisi veri kümemdeki belgelerde genellikle bulunmadığından, günümüzdeki varlık tanıma sistemleri adı verilen haber makalesi ve dergi kayıtlarından biraz daha "gayriresmi" alan dışı veri arıyorum. ...
18 dataset nlp
R tidyr aracına benzer python / pandalar için veri toplama aracı var mı?
Bazı değişkenler sütunlar (Telstra ağ kesintisi) yerine satırlarla temsil edilen bir Kaggle meydan okuma üzerinde çalışıyorum. Şu anda R tidyr aracında bulunan gather (), separa () ve spread () 'nin eşdeğerini arıyorum.
18 r python dataset data-cleaning pandas
deniz dibi ısı haritasını büyüt
corr()Orijinal bir df dışında bir df oluşturun . corr()Df 70 X 70 çıktı ve ısı haritası görselleştirmek mümkün değildir ... sns.heatmap(df). Göstermeye çalışırsam corr = df.corr(), tablo ekrana sığmaz ve tüm korelasyonları görebilirim. Boyutundan dfbağımsız olarak tümünü yazdırmanın veya ısı haritasının boyutunu kontrol etmenin bir yolu var mı ?
17 visualization pandas plotting machine-learning neural-network svm decision-trees svm efficiency python linear-regression machine-learning nlp topic-model lda named-entity-recognition naive-bayes-classifier association-rules fuzzy-logic kaggle deep-learning tensorflow inception classification feature-selection feature-engineering machine-learning scikit-learn tensorflow keras encoding nlp text-mining nlp rnn python neural-network feature-extraction machine-learning predictive-modeling python r linear-regression clustering r ggplot2 neural-network neural-network training python neural-network deep-learning rnn predictive-modeling databases sql programming distribution dataset cross-validation neural-network deep-learning rnn machine-learning machine-learning python deep-learning data-mining tensorflow visualization tools sql embeddings orange feature-extraction unsupervised-learning gan machine-learning python data-mining pandas machine-learning data-mining bigdata apache-spark apache-hadoop deep-learning python convnet keras aggregation clustering k-means r random-forest decision-trees reference-request visualization data pandas plotting neural-network keras rnn theano deep-learning tensorflow inception predictive-modeling deep-learning regression sentiment-analysis nlp encoding deep-learning python scikit-learn lda convnet keras predictive-modeling regression overfitting regression svm prediction machine-learning similarity word2vec information-retrieval word-embeddings neural-network deep-learning rnn
ImageNet'te bir kişi sınıfı var mı? İnsanlarla ilgili herhangi bir sınıf var mı?
İnternetteki Imagenet sınıfları için birçok kaynaktan birine bakarsam, insanlarla ilgili tek bir sınıf bulamıyorum (ve hayır, hasatçı hasat yapan biri değil, ama bir baba uzun bacakları, bir çeşit örümcek :-). Bu nasıl mümkün olabilir? Ben en azından bir tahmin az olurdu personhatta bir şey daha spesifik gibi sınıf ve man, ...
14 machine-learning deep-learning dataset convnet image-classification
Dengesiz sınıfta, doğrulama / test veri kümelerimde örnekleme altında kullanmak zorunda mıyım?
Makine öğrenimine yeni başlıyorum ve bir durumla karşı karşıyayım. IPinYou veri kümesi ile bir Gerçek Zamanlı Teklif sorunu üzerinde çalışıyorum ve bir tıklama tahmini yapmaya çalışıyorum. Mesele şu ki, bildiğiniz gibi, veri kümesi çok dengesiz: 1 olumlu örnek (tıklama) için yaklaşık 1300 negatif örnek (tıklama yok). Bu benim işim: Verileri ...
14 machine-learning dataset sampling
Normal olarak dağıtılmayan A / B test sonuçlarının bağımsız t testi kullanılarak analiz edilmesi
Normal dağılım uymayan bir A / B testi (bir kontrol grubu, bir özellik grubu) sonuçları bir dizi var. Aslında dağıtım Landau Dağıtımına daha çok benzemektedir. Bağımsız t-testinin örneklerin en azından yaklaşık olarak normal olarak dağıtılmasını gerektirdiğine inanıyorum. Ama sorum şu: t-testinin anlamlılık testi için iyi bir yöntem olmadığını hangi noktada ...
14 dataset statistics ab-test
En iyi uygulamaları anlayan veri kümeleri
Veri madenciliği alanında CS yüksek lisans öğrencisiyim. Yöneticim bir keresinde bana herhangi bir sınıflandırıcı çalıştırmadan veya veri kümesiyle herhangi bir şey yapmadan önce verileri tam olarak anlamam ve verilerin temiz ve doğru olduğundan emin olmam gerektiğini söyledi. Sorularım: Bir veri kümesini (sayısal ve nominal özniteliklere sahip yüksek boyutlu) anlamak için ...
13 statistics dataset