mini1013/master_cate_sl22

SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

1. Fine-tuning a Sentence Transformer with contrastive learning.
2. Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

• Model Type: SetFit
• Sentence Transformer body: mini1013/master_domain
• Classification head: a LogisticRegression instance
• Maximum Sequence Length: 512 tokens
• Number of Classes: 12 classes

Model Sources

• Repository: SetFit on GitHub
• Paper: Efficient Few-Shot Learning Without Prompts
• Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
1.0	'야구 배팅 연습기 족구 휴대용 실내 시트 거치대 티대 스포츠/레저>야구>기타야구용품' '야구 스윙 스틱 장비 스틱 방망이 타격 코칭 도구 스포츠/레저>야구>기타야구용품' 'Codree 1 Set Baseball Swing Trainer Bands- Elastic Baseball Softball Hitting Resistance Bands- Baseb 스포츠/레저>야구>기타야구용품'
0.0	'롤링스 MLB 어센틱 리미티드 HOH 내야 야구글러브 놀란 아레나도 모델 GH2PRONA-BS 스포츠/레저>야구>글러브' '윌슨 내야 글러브 11 5 A2000 1786 WBW100390115 스포츠/레저>야구>글러브' '모리모토 엣지 올라운드 야구장 우투 글러브 MTG01 스포츠/레저>야구>글러브'
7.0	'야구 유니폼 키즈 뉴욕 양키스 레플리카 반팔 저지 스포츠/레저>야구>야구의류' '미즈노 오버핏반팔티셔츠 오버핏슬리브 MIZUNO CP SHORT SLEEVE32YA315209 223186 스포츠/레저>야구>야구의류' '오타니셔츠 남성 야구 티셔츠 유니폼 메이저리그 TShirt 야구상의 후드 반소매 스포츠/레저>야구>야구의류'
4.0	'스타스포츠 야구배트 알루미늄 루키 29in WR310N-0029 스포츠/레저>야구>야구배트' 'MAJOR 8차 예약 1 메이저 MAZOR 이그나이트 사회인야구 미들탑 골드에디션 알로이배트 구형명기 합금 33 28 32 27 21KBN CU-31 스포츠/레저>야구>야구배트' 'js야구배트 32 나무배트 알루미늄배트 연식용 야구 스포츠/레저>야구>야구배트'
3.0	'롤링스 MLB 로고볼 피츠버그 파이어리츠 스포츠/레저>야구>야구공' 'MLB 프랭클린 뉴욕양키즈 안전 야구공 2710F10 스포츠/레저>야구>야구공' '투더문 안전 야구공 TTMYC-01 스포츠/레저>야구>야구공'
8.0	'BBK 24년형 화양연화 Newest 수비장갑 야수용 포수용 스포츠/레저>야구>야구장갑' '스타 야구글러브 파워플레이 오른손착용 WG-4100L5-R 스포츠/레저>야구>야구장갑' '미즈노 야구 프로 배팅장갑 스카이 1EJEA52221SY D2309 스포츠/레저>야구>야구장갑'
6.0	'DESCENTE BASEBALL ROY0 야구 양말 SN111WSO20 C-8710 스포츠/레저>야구>야구양말' '미즈노 야구 양말 성인 유소년 12YX1U21 스포츠/레저>야구>야구양말' '니드 스포츠 야구양말 스포츠/레저>야구>야구양말'
10.0	'Bauer IMS 5 0 하키 헬멧 콤보 안면 마스크 시니어 스포츠/레저>야구>포수장비' '아이스 하키 럭비 야구 포수 골키퍼 보호대 모자 헬멧 스포츠/레저>야구>포수장비' '포수 마스크 성인용 야구 수비용 올스타 S7 헬멧 어른 그래파이트 투톤 잡기 스포츠/레저>야구>포수장비'
5.0	'Markwort 타자를 위한 C-플랩 페이스 프로텍터 스포츠/레저>야구>야구보호대' '손가락가드 포수 보호대 야구 엄지보호대 손가락 고정 스포츠/레저>야구>야구보호대' '미식축구 Schutt DNA ROPO DW 대표팀 안면 보호대 바시티 스포츠/레저>야구>야구보호대'
2.0	'321879 당점 만 즉납 Mizuno 미즈노 미니 케이스 33JM2020 스포츠/레저>야구>야구가방' '미즈노 야구 배트 가방 엘리트 1개입 야구배트 수납 케이스 주니어 스포츠/레저>야구>야구가방' '드마리니 VOODOO OG 백팩 WB5711707 스포츠/레저>야구>야구가방'
9.0	'미즈노 야구화 라이트 레보 프로 GS TPU 11GP230001 스포츠/레저>야구>야구화' '언더아머 야구화 포인트화 청 3025590400RO D2309 스포츠/레저>야구>야구화' '미즈노 야구 스파이크 쇠붙이 흰색 라이트 레보제로 11GM221501 스포츠/레저>야구>야구화'
11.0	'브렛 타자헬멧 양귀 유광 프로 야구헬멧 스포츠/레저>야구>헬멧' '모리모토 프로텍티브 2 0 경식 타자 외귀헬멧 유광 블랙레드 스포츠/레저>야구>헬멧' '골드 타자헬멧 유광 청색 우귀 좌타자용 검투사 S 유광 청색 우귀 1901-015 스포츠/레저>야구>헬멧'

Evaluation

Metrics

Label	Accuracy
all	1.0

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_sl22")
# Run inference
preds = model("생활원사 수비용 야구장갑 스포츠/레저>야구>야구장갑")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	2	8.3993	20

Label	Training Sample Count
0.0	70
1.0	70
2.0	69
3.0	70
4.0	70
5.0	70
6.0	70
7.0	70
8.0	70
9.0	70
10.0	70
11.0	70

Training Hyperparameters

• batch_size: (256, 256)
• num_epochs: (30, 30)
• max_steps: -1
• sampling_strategy: oversampling
• num_iterations: 50
• body_learning_rate: (2e-05, 1e-05)
• head_learning_rate: 0.01
• loss: CosineSimilarityLoss
• distance_metric: cosine_distance
• margin: 0.25
• end_to_end: False
• use_amp: False
• warmup_proportion: 0.1
• l2_weight: 0.01
• seed: 42
• eval_max_steps: -1
• load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0061	1	0.4871	-
0.3049	50	0.4978	-
0.6098	100	0.4027	-
0.9146	150	0.1531	-
1.2195	200	0.0774	-
1.5244	250	0.0346	-
1.8293	300	0.0227	-
2.1341	350	0.0138	-
2.4390	400	0.0031	-
2.7439	450	0.0004	-
3.0488	500	0.0003	-
3.3537	550	0.0002	-
3.6585	600	0.0002	-
3.9634	650	0.0001	-
4.2683	700	0.0001	-
4.5732	750	0.0001	-
4.8780	800	0.0001	-
5.1829	850	0.0001	-
5.4878	900	0.0001	-
5.7927	950	0.0001	-
6.0976	1000	0.0001	-
6.4024	1050	0.0001	-
6.7073	1100	0.0001	-
7.0122	1150	0.0001	-
7.3171	1200	0.0001	-
7.6220	1250	0.0001	-
7.9268	1300	0.0	-
8.2317	1350	0.0	-
8.5366	1400	0.0	-
8.8415	1450	0.0	-
9.1463	1500	0.0	-
9.4512	1550	0.0	-
9.7561	1600	0.0	-
10.0610	1650	0.0	-
10.3659	1700	0.0	-
10.6707	1750	0.0	-
10.9756	1800	0.0	-
11.2805	1850	0.0	-
11.5854	1900	0.0	-
11.8902	1950	0.0	-
12.1951	2000	0.0	-
12.5	2050	0.0	-
12.8049	2100	0.0001	-
13.1098	2150	0.0001	-
13.4146	2200	0.0	-
13.7195	2250	0.0	-
14.0244	2300	0.0	-
14.3293	2350	0.0	-
14.6341	2400	0.0	-
14.9390	2450	0.0	-
15.2439	2500	0.0	-
15.5488	2550	0.0	-
15.8537	2600	0.0	-
16.1585	2650	0.0	-
16.4634	2700	0.0	-
16.7683	2750	0.0	-
17.0732	2800	0.0	-
17.3780	2850	0.0	-
17.6829	2900	0.0	-
17.9878	2950	0.0	-
18.2927	3000	0.0	-
18.5976	3050	0.0	-
18.9024	3100	0.0	-
19.2073	3150	0.0001	-
19.5122	3200	0.0	-
19.8171	3250	0.0	-
20.1220	3300	0.0	-
20.4268	3350	0.0	-
20.7317	3400	0.0	-
21.0366	3450	0.0	-
21.3415	3500	0.0	-
21.6463	3550	0.0	-
21.9512	3600	0.0	-
22.2561	3650	0.0	-
22.5610	3700	0.0	-
22.8659	3750	0.0	-
23.1707	3800	0.0	-
23.4756	3850	0.0	-
23.7805	3900	0.0	-
24.0854	3950	0.0	-
24.3902	4000	0.0	-
24.6951	4050	0.0	-
25.0	4100	0.0	-
25.3049	4150	0.0	-
25.6098	4200	0.0	-
25.9146	4250	0.0	-
26.2195	4300	0.0	-
26.5244	4350	0.0	-
26.8293	4400	0.0	-
27.1341	4450	0.0	-
27.4390	4500	0.0	-
27.7439	4550	0.0	-
28.0488	4600	0.0	-
28.3537	4650	0.0	-
28.6585	4700	0.0	-
28.9634	4750	0.0	-
29.2683	4800	0.0	-
29.5732	4850	0.0	-
29.8780	4900	0.0	-

Framework Versions

• Python: 3.10.12
• SetFit: 1.1.0
• Sentence Transformers: 3.3.1
• Transformers: 4.44.2
• PyTorch: 2.2.0a0+81ea7a4
• Datasets: 3.2.0
• Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}