SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

  1. Fine-tuning a Sentence Transformer with contrastive learning.
  2. Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Sources

Model Labels

Label Examples
3.0
  • '[2+1]디엘프렌즈 순한네일 수성네일 유아 키즈 매니큐어 네일스티커 선물세트 다홍_옐로우_핑크스타 출산/육아 > 스킨/바디용품 > 어린이네일케어'
  • '어린이 유아 캐치티니핑 손톱 네일 스티커 산리오 포켓몬 짱구 키즈 매니큐어 귀걸이 스티커 네일 스티커_[알쏭달쏭 캐치티니핑] 네일스티커 출산/육아 > 스킨/바디용품 > 어린이네일케어'
  • '유아용 키즈 셀프 손톱 캐릭터 스티커 판박이 A011K 출산/육아 > 스킨/바디용품 > 어린이네일케어'
1.0
  • '[항균99%] 신생아 유아 아기 엉덩이 클렌저 청결제 세정제 04.로션 300ml (대용량) 출산/육아 > 스킨/바디용품 > 기타스킨/바디용품'
  • '아토팜 퓨어 클렌징 패드 30매 출산/육아 > 스킨/바디용품 > 기타스킨/바디용품'
  • '보타니컬테라피 키즈 페이셜 폼 클렌저 280ml × 3개 출산/육아 > 스킨/바디용품 > 기타스킨/바디용품'
6.0
  • '궁중비책 헤어 샴푸 350ml 미동의_벨런싱 크림 180ml 출산/육아 > 스킨/바디용품 > 유아바스/샴푸'
  • '존슨즈 액티브 키즈 클린 앤드 프레쉬 바스 500ml 출산/육아 > 스킨/바디용품 > 유아바스/샴푸'
  • '페나텐 영양 로션 400ml 크림 50ml 출산/육아 > 스킨/바디용품 > 유아바스/샴푸'
2.0
  • '쥬리아 루나리스 스킨커버21호 본품+리필포함 9g O 출산/육아 > 스킨/바디용품 > 색조화장품'
  • '스킨커버21호 9g 본품+리필포함 쥬리아화장품 -O 루나리스화장품 7WB16E50 출산/육아 > 스킨/바디용품 > 색조화장품'
  • 'Beautyblender 뷰티블렌더 리퀴드 블렌더클린서 출산/육아 > 스킨/바디용품 > 색조화장품'
0.0
  • '래쉬 크림 나뚜라하우스 유아용품 100ml 다이아퍼 기저귀케어 1021455 출산/육아 > 스킨/바디용품 > 기저귀크림'
  • 'Weleda 베이비 카렌듈라 웨더 프로텍션 크림 30ml 11203703 출산/육아 > 스킨/바디용품 > 기저귀크림'
  • '아토팜 기저귀크림 다이애퍼 수딩 크림 60ml 유아동용 모든피부 1개 11203564 출산/육아 > 스킨/바디용품 > 기저귀크림'
12.0
  • '에코뮤 컴팩트파우더 20g / 아이베베 수딩 파우더 24g 베이비파우더 아기파우더 01.아이베베 파우더 24g 1개 출산/육아 > 스킨/바디용품 > 유아파우더'
  • '아토팜 수딩크림60ml 다이애퍼 기저귀 [G7548B4Z] 출산/육아 > 스킨/바디용품 > 유아파우더'
  • '아토팜 수딩 젤 로션 11203698 200ml x 1개 출산/육아 > 스킨/바디용품 > 유아파우더'
4.0
  • '1+1 오가베베 아기 크리미 로션 베이비 유기농 시어버터 신생아 유아 고보습 크리미로션 1+1 출산/육아 > 스킨/바디용품 > 유아로션'
  • '그린핑거 촉촉한 자연보습 베이비 로션, 500ml 500ml × 1개 출산/육아 > 스킨/바디용품 > 유아로션'
  • '보타니컬테라피 키즈 바디워시 / 어린이 유아 키즈 스킨케어 03.키즈 컨디셔너 (450ml) 출산/육아 > 스킨/바디용품 > 유아로션'
5.0
  • '1+1 뽀로로 립밤 립큐어 4종/아기 유아 립밤 어린이 립케어 (뽀로로 패티 크롱 루피) 패티 립큐어 (바나나향)_크롱 립큐어 (딸기향) 출산/육아 > 스킨/바디용품 > 유아립케어'
  • '1+1 뽀로로 립밤 립큐어 4종/아기 유아 립밤 어린이 립케어 (뽀로로 패티 크롱 루피) 크롱 립큐어 (딸기향)_루피 립큐어 x 2개세트 (복숭아향) 출산/육아 > 스킨/바디용품 > 유아립케어'
  • 'COVERGIRL 클린 프레시 틴트 립밤, I Cherry-Ish You 379493 I Cherry-Ish You 출산/육아 > 스킨/바디용품 > 유아립케어'
11.0
  • '차앤맘 피토세린 멀티 퍼포스 인텐시브 수딩 밤 30g 베이비 신생아 유아 어린이 바디 얼굴 올인원 출산/육아 > 스킨/바디용품 > 유아크림'
  • '[팸퍼스 ] 아비노베이비 더멕사 아토 나이트타임 밤 312g x1개 (+팸퍼스 터치오브네이처 샘플팩 ) 더멕사 아토 나이트밤 312g+팸퍼스 4단계 출산/육아 > 스킨/바디용품 > 유아크림'
  • '[아토팜]아토팜 에센셜 케어 세트 출산/육아 > 스킨/바디용품 > 유아크림'
10.0
  • '토이세븐 시크릿쥬쥬 시크릿 목욕놀이 바스볼 출산/육아 > 스킨/바디용품 > 유아입욕제'
  • '사부 타일랜드 배쓰밤 리리와디 2개 출산/육아 > 스킨/바디용품 > 유아입욕제'
  • '아가드 구름목욕시간 500g 베이직 유아 아기 거품 목욕 입욕제 버블 폼 와우버블바스 400g_시트러스 출산/육아 > 스킨/바디용품 > 유아입욕제'
9.0
  • '존슨즈 베이비 오일 200ml 출산/육아 > 스킨/바디용품 > 유아오일'
  • '존슨즈 베이비오일 00ml 순한 아기 마사지 유아 보습 로션 유아용 바디 워시 샴푸 출산/육아 > 스킨/바디용품 > 유아오일'
  • '(1개)호호에미 베이비 오일 100ml 12월 초 입고 후 순차 출고될 예정입니다. 출산/육아 > 스킨/바디용품 > 유아오일'
13.0
  • '보타니컬테라피 대용량 아기 베이비 클렌징2종 무향(바디워시500ml+샴푸 500ml) 무향_피치블로썸 출산/육아 > 스킨/바디용품 > 혼합세트'
  • '보타니컬테라피 베이비 모이스춰 대용량 2종세트 (로션+크림) 출산/육아 > 스킨/바디용품 > 혼합세트'
  • '누들앤부 1+1+1 대용량 7종 유아 로션 샴푸 워시 (베이비밤 제외) 대용량 뉴본_대용량 로션_대용량 샴푸 출산/육아 > 스킨/바디용품 > 혼합세트'
7.0
  • '궁중비책 프리뮨 크리미솝 90g 출산/육아 > 스킨/바디용품 > 유아비누'
  • '비누 몰드 1구 62종 모음 캔들 천사 장난감 꽃 실리콘몰드 비누틀 09플라워 3호 출산/육아 > 스킨/바디용품 > 유아비누'
  • '비누몰드/장미몰드 B_(B8)미니바다8구 출산/육아 > 스킨/바디용품 > 유아비누'
8.0
  • '궁중비책 베이비 이지워시 선로션 60ml (SPF30), 1개 출산/육아 > 스킨/바디용품 > 유아선케어'
  • '[1+1]타가 유아 키즈 무기자차 비타 선쿠션 출산/육아 > 스킨/바디용품 > 유아선케어'
  • '(독일직배) 니베아 썬키즈 센시티브 스프레이 썬크림 선스크린 Spf50+ 200ml 2개 Nivea Sun Kids Sensitive 출산/육아 > 스킨/바디용품 > 유아선케어'

Evaluation

Metrics

Label Accuracy
all 1.0

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_bc10")
# Run inference
preds = model("유아 네일 키즈 어린이 아동 손톱 매니큐어 네일 스티커 달콤한 캔디 출산/육아 > 스킨/바디용품 > 어린이네일케어")

Training Details

Training Set Metrics

Training set Min Median Max
Word count 7 13.9688 29
Label Training Sample Count
0.0 70
1.0 70
2.0 70
3.0 70
4.0 70
5.0 70
6.0 70
7.0 70
8.0 20
9.0 70
10.0 70
11.0 70
12.0 70
13.0 70

Training Hyperparameters

  • batch_size: (256, 256)
  • num_epochs: (30, 30)
  • max_steps: -1
  • sampling_strategy: oversampling
  • num_iterations: 50
  • body_learning_rate: (2e-05, 1e-05)
  • head_learning_rate: 0.01
  • loss: CosineSimilarityLoss
  • distance_metric: cosine_distance
  • margin: 0.25
  • end_to_end: False
  • use_amp: False
  • warmup_proportion: 0.1
  • l2_weight: 0.01
  • seed: 42
  • eval_max_steps: -1
  • load_best_model_at_end: False

Training Results

Epoch Step Training Loss Validation Loss
0.0055 1 0.493 -
0.2747 50 0.4998 -
0.5495 100 0.4964 -
0.8242 150 0.3376 -
1.0989 200 0.2021 -
1.3736 250 0.0521 -
1.6484 300 0.0033 -
1.9231 350 0.0003 -
2.1978 400 0.0002 -
2.4725 450 0.0002 -
2.7473 500 0.0001 -
3.0220 550 0.0001 -
3.2967 600 0.0 -
3.5714 650 0.0 -
3.8462 700 0.0 -
4.1209 750 0.0 -
4.3956 800 0.0 -
4.6703 850 0.0 -
4.9451 900 0.0 -
5.2198 950 0.0 -
5.4945 1000 0.0 -
5.7692 1050 0.0001 -
6.0440 1100 0.0002 -
6.3187 1150 0.0 -
6.5934 1200 0.0 -
6.8681 1250 0.0 -
7.1429 1300 0.0 -
7.4176 1350 0.0 -
7.6923 1400 0.0 -
7.9670 1450 0.0 -
8.2418 1500 0.0 -
8.5165 1550 0.0 -
8.7912 1600 0.0 -
9.0659 1650 0.0 -
9.3407 1700 0.0 -
9.6154 1750 0.0 -
9.8901 1800 0.0 -
10.1648 1850 0.0 -
10.4396 1900 0.0 -
10.7143 1950 0.0 -
10.9890 2000 0.0 -
11.2637 2050 0.0 -
11.5385 2100 0.0 -
11.8132 2150 0.0 -
12.0879 2200 0.0 -
12.3626 2250 0.0 -
12.6374 2300 0.0 -
12.9121 2350 0.0 -
13.1868 2400 0.0 -
13.4615 2450 0.0 -
13.7363 2500 0.0 -
14.0110 2550 0.0 -
14.2857 2600 0.0 -
14.5604 2650 0.0 -
14.8352 2700 0.0 -
15.1099 2750 0.0 -
15.3846 2800 0.0 -
15.6593 2850 0.0 -
15.9341 2900 0.0 -
16.2088 2950 0.0 -
16.4835 3000 0.0 -
16.7582 3050 0.0 -
17.0330 3100 0.0 -
17.3077 3150 0.0 -
17.5824 3200 0.0 -
17.8571 3250 0.0 -
18.1319 3300 0.0 -
18.4066 3350 0.0 -
18.6813 3400 0.0 -
18.9560 3450 0.0 -
19.2308 3500 0.0 -
19.5055 3550 0.0 -
19.7802 3600 0.0 -
20.0549 3650 0.0 -
20.3297 3700 0.0 -
20.6044 3750 0.0 -
20.8791 3800 0.0 -
21.1538 3850 0.0 -
21.4286 3900 0.0 -
21.7033 3950 0.0 -
21.9780 4000 0.0 -
22.2527 4050 0.0 -
22.5275 4100 0.0 -
22.8022 4150 0.0 -
23.0769 4200 0.0 -
23.3516 4250 0.0 -
23.6264 4300 0.0 -
23.9011 4350 0.0 -
24.1758 4400 0.0 -
24.4505 4450 0.0 -
24.7253 4500 0.0 -
25.0 4550 0.0 -
25.2747 4600 0.0 -
25.5495 4650 0.0 -
25.8242 4700 0.0 -
26.0989 4750 0.0 -
26.3736 4800 0.0 -
26.6484 4850 0.0 -
26.9231 4900 0.0 -
27.1978 4950 0.0 -
27.4725 5000 0.0 -
27.7473 5050 0.0 -
28.0220 5100 0.0 -
28.2967 5150 0.0 -
28.5714 5200 0.0 -
28.8462 5250 0.0 -
29.1209 5300 0.0 -
29.3956 5350 0.0 -
29.6703 5400 0.0 -
29.9451 5450 0.0 -

Framework Versions

  • Python: 3.10.12
  • SetFit: 1.1.0
  • Sentence Transformers: 3.3.1
  • Transformers: 4.44.2
  • PyTorch: 2.2.0a0+81ea7a4
  • Datasets: 3.2.0
  • Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}
Downloads last month
784
Safetensors
Model size
111M params
Tensor type
F32
·
Inference Providers NEW
This model is not currently available via any of the supported third-party Inference Providers, and the model is not deployed on the HF Inference API.

Model tree for mini1013/master_cate_bc10

Base model

klue/roberta-base
Finetuned
(213)
this model

Evaluation results