SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 6 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
0.0	'KR모터스 그란투스 125 스쿠터 스포츠/레저>오토바이/스쿠터>스쿠터>일반스쿠터' '니키125 걸프 에디션 스쿠터 2024년 스포츠/레저>오토바이/스쿠터>스쿠터>일반스쿠터' 'AU테크 에코로 포니 전기스쿠터 12Ah 스포츠/레저>오토바이/스쿠터>스쿠터>전동스쿠터'
3.0	'오토바이 여름헬멧 오픈페이스 반모 경량 클래식 헬멧 빈티지 스틸 레트로 스포츠/레저>오토바이/스쿠터>오토바이용품>헬멧' '레트로 바이크 헬멧 할리데이비슨 오토바이 감성 보 -레트로 미러 스포츠/레저>오토바이/스쿠터>오토바이용품>헬멧' '남녀공용 편광 변색 선글라스 꽃가루 알레르기 방지 윈드 고글 UV400 보호 TR90 스포츠/레저>오토바이/스쿠터>오토바이용품>기타오토바이용품'
4.0	'코미네 3핑거 여름 반장갑 메쉬 글러브 BLACK-RED GK-260 스포츠/레저>오토바이/스쿠터>오토바이의류/잡화>바이크장갑' '맥슬러 케블라 라이딩청바지 오토바이바지 M-2073 스포츠/레저>오토바이/스쿠터>오토바이의류/잡화>하의' '오토바이 방한복 배달 남녀공용 일체형 방수 바이크 라이딩 배달우주복 스포츠/레저>오토바이/스쿠터>오토바이의류/잡화>상하세트'
2.0	'피렐리 엔젤 스쿠터 더뉴 PCX 뒤 타이어 120 스포츠/레저>오토바이/스쿠터>오토바이부품>기타오토바이부품' '투스크 메가비트 레이디얼 타이어 28x1015 혼다 탈론 폭스 라이브 밸브용 1000X 스포츠/레저>오토바이/스쿠터>오토바이부품>기타오토바이부품' '혼다 PCX125 브레이크 캘리퍼 핀 45215-KPH-951 스포츠/레저>오토바이/스쿠터>오토바이부품>기타오토바이부품'
1.0	'CFORCE 450 4륜 오토바이 스포츠/레저>오토바이/스쿠터>오토바이' 'ATV-A형 사륜오토바이 스포츠/레저>오토바이/스쿠터>오토바이' 'BMW F850GS 오토바이 스포츠/레저>오토바이/스쿠터>오토바이'
5.0	'자이로콥 G에스 전동투휠 4.4Ah 스포츠/레저>오토바이/스쿠터>전동휠' '킹송 외발휠 16S 840Wh 스포츠/레저>오토바이/스쿠터>전동휠' '나인봇 엘리트 플러스 전동휠 10Ah 스포츠/레저>오토바이/스쿠터>전동휠'

Evaluation

Metrics

Label	Accuracy
all	1.0

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_sl23")
# Run inference
preds = model("코미네 오토바이 핀 잠금 장치 도난 방지 디스크락 열쇠 스포츠/레저>오토바이/스쿠터>오토바이부품>잠금장치")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	3	8.3719	19

Label	Training Sample Count
0.0	70
1.0	70
2.0	70
3.0	70
4.0	70
5.0	13

Training Hyperparameters

batch_size: (256, 256)
num_epochs: (30, 30)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 50
body_learning_rate: (2e-05, 1e-05)
head_learning_rate: 0.01
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
l2_weight: 0.01
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0141	1	0.4943	-
0.7042	50	0.4622	-
1.4085	100	0.1572	-
2.1127	150	0.0427	-
2.8169	200	0.0006	-
3.5211	250	0.0	-
4.2254	300	0.0	-
4.9296	350	0.0	-
5.6338	400	0.0	-
6.3380	450	0.0	-
7.0423	500	0.0	-
7.7465	550	0.0	-
8.4507	600	0.0	-
9.1549	650	0.0	-
9.8592	700	0.0	-
10.5634	750	0.0	-
11.2676	800	0.0	-
11.9718	850	0.0	-
12.6761	900	0.0001	-
13.3803	950	0.0	-
14.0845	1000	0.0	-
14.7887	1050	0.0	-
15.4930	1100	0.0	-
16.1972	1150	0.0	-
16.9014	1200	0.0	-
17.6056	1250	0.0	-
18.3099	1300	0.0	-
19.0141	1350	0.0	-
19.7183	1400	0.0	-
20.4225	1450	0.0	-
21.1268	1500	0.0	-
21.8310	1550	0.0	-
22.5352	1600	0.0	-
23.2394	1650	0.0	-
23.9437	1700	0.0	-
24.6479	1750	0.0	-
25.3521	1800	0.0	-
26.0563	1850	0.0	-
26.7606	1900	0.0	-
27.4648	1950	0.0	-
28.1690	2000	0.0	-
28.8732	2050	0.0	-
29.5775	2100	0.0	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0
Sentence Transformers: 3.3.1
Transformers: 4.44.2
PyTorch: 2.2.0a0+81ea7a4
Datasets: 3.2.0
Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_sl23