SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 5 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
4.0	'비앤비 섬유유연제 베르가못 캡리필 1800ml X 6개 출산/육아 > 유아세제 > 혼합세트' '베비언스 아기세제 핑크퐁 베이비 아기섬유유연제 유아세탁세제 유아세제 섬유유연제 출산/육아 > 유아세제 > 혼합세트' '레드루트 유아 아기 세탁세제1L+유연제1L 향 선택 머스크플로랄_바닐라코튼 출산/육아 > 유아세제 > 혼합세트'
2.0	'생활용품세탁세재욕실청소 베르블랑 유아 섬유 유연제 그린플로럴향 1000ml, 1개 샹활용품욕실청소세탁세재 생활용품욕실청소세탁세재 생활용품 1000ml × 3개 출산/육아 > 유아세제 > 유아유연제' '레드루트 건조기시트 섬유유연제 50매 향선택 건조기시트50매_스위트 출산/육아 > 유아세제 > 유아유연제' '비앤비 유아 아기 신생아 섬유유연제 1800ml 3팩 리필 베이비 유연제 액상형 섬유린스 세제/유연제_09.유연제베르가못1800ml리필×4 출산/육아 > 유아세제 > 유아유연제'
3.0	'마더케이 디아 산소계 표백제 1kg (무향) 출산/육아 > 유아세제 > 유아표백제/얼룩제거제' '비앤비 얼룩제거제 500ml 옷얼룩제거 유아옷 얼룩제거 천연성분 함유 젖병세정제_거품 450ml 용기 출산/육아 > 유아세제 > 유아표백제/얼룩제거제' '마이비 얼룩제거제 330ml + 리필 300ml x 3개 출산/육아 > 유아세제 > 유아표백제/얼룩제거제'
0.0	'아이앤어스 독일더마 프리미엄 캡슐형 세탁세제 30개입 x4팩 아이앤어스 독일더마 프리미엄 캡슐형 세탁세제 출산/육아 > 유아세제 > 유아세탁비누' '러블리앙즈 유아마스크 30매 어린이 3D 새부리형 초소형 소형 4 8세_M9 왕관곰 4 8세 출산/육아 > 유아세제 > 유아세탁비누' '네이쳐러브메레 유연제, 리필, 체리블러썸향, 1300ml, 4개 체리블러썸 유연제 4개 오리지널 세제 4개 출산/육아 > 유아세제 > 유아세탁비누'
1.0	'레드루트 유아 섬유유연제 세탁세제 1L 3개세트 바닐라코튼 세탁세제 _ 머스크_세탁세제 _ 스위트_유연제 _ 바닐라 출산/육아 > 유아세제 > 유아세탁세제' '베비언스 핑크퐁 베이비 세탁세제 리필 2.2L 출산/육아 > 유아세제 > 유아세탁세제' '[3개] 아이너바움 대용량 세탁세제 3개세트 무향 / 유아 아기 신생아 비건인증 세제 3.비건인증 안심 세제 3종(세탁2+섬유1)_세탁세제(네이처플라워 2개)_섬유유연제(스윗선데이 1개) 출산/육아 > 유아세제 > 유아세탁세제'

Evaluation

Metrics

Label	Accuracy
all	1.0

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_bc23")
# Run inference
preds = model("마이비 피부에순한 유아섬유유연제 (리필 1600ml)  출산/육아 > 유아세제 > 유아세탁비누")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	8	15.3086	31

Label	Training Sample Count
0.0	70
1.0	70
2.0	70
3.0	70
4.0	70

Training Hyperparameters

batch_size: (256, 256)
num_epochs: (30, 30)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 50
body_learning_rate: (2e-05, 1e-05)
head_learning_rate: 0.01
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
l2_weight: 0.01
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0145	1	0.4811	-
0.7246	50	0.4993	-
1.4493	100	0.4843	-
2.1739	150	0.276	-
2.8986	200	0.0128	-
3.6232	250	0.0	-
4.3478	300	0.0	-
5.0725	350	0.0	-
5.7971	400	0.0	-
6.5217	450	0.0	-
7.2464	500	0.0	-
7.9710	550	0.0	-
8.6957	600	0.0	-
9.4203	650	0.0	-
10.1449	700	0.0	-
10.8696	750	0.0	-
11.5942	800	0.0	-
12.3188	850	0.0	-
13.0435	900	0.0	-
13.7681	950	0.0	-
14.4928	1000	0.0	-
15.2174	1050	0.0	-
15.9420	1100	0.0	-
16.6667	1150	0.0	-
17.3913	1200	0.0	-
18.1159	1250	0.0	-
18.8406	1300	0.0	-
19.5652	1350	0.0	-
20.2899	1400	0.0	-
21.0145	1450	0.0	-
21.7391	1500	0.0	-
22.4638	1550	0.0	-
23.1884	1600	0.0	-
23.9130	1650	0.0	-
24.6377	1700	0.0	-
25.3623	1750	0.0	-
26.0870	1800	0.0	-
26.8116	1850	0.0	-
27.5362	1900	0.0	-
28.2609	1950	0.0	-
28.9855	2000	0.0	-
29.7101	2050	0.0	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0
Sentence Transformers: 3.3.1
Transformers: 4.44.2
PyTorch: 2.2.0a0+81ea7a4
Datasets: 3.2.0
Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_bc23