SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

  1. Fine-tuning a Sentence Transformer with contrastive learning.
  2. Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Sources

Model Labels

Label Examples
10.0
  • '멜리사 거울 수납장 600 가구/인테리어>수납가구>코너장'
  • '아도라퍼니처 아동가구 모듈 4단 코너장 가구/인테리어>수납가구>코너장'
  • '거실 코너장 틈새 수납 수납장 모서리 장식 원목 삼각 가구/인테리어>수납가구>코너장'
0.0
  • '원목 LP 수납장 우드 레코드판 진열장 뉴송 정리 가구/인테리어>수납가구>CD/DVD장'
  • '원목 아크릴 레코드 진열대 랙 보관함 투명 lp정리함 가구/인테리어>수납가구>CD/DVD장'
  • '턴테이블 장식장 엘피장 LP 원목진열대 받침대 보관함 가구/인테리어>수납가구>CD/DVD장'
3.0
  • 'PD몰 주물장식 나비 대 4번 주물자재 문종소품 가구/인테리어>수납가구>나비장'
  • '나비장 원목 앤틱 수납 장식장 가구/인테리어>수납가구>나비장'
  • '그라데이션조각컷팅 홈퍼니싱매장데코소품 이중겹날개나비장식 6p 가구/인테리어>수납가구>나비장'
11.0
  • '행거맨 옷 강력흡착 압축기 모기장 매장용 물밀대 옷걸이 시스템 조립식 미니 먼지털이 벽 가구/인테리어>수납가구>행거'
  • '행거 옷걸이 북유럽 옷걸이 원목 스탠드 미니 스탠딩 나무 행거 -17 나뭇가지 가구/인테리어>수납가구>행거'
  • '심플한 스탠행거 사무실 욕실 미니행거 가구/인테리어>수납가구>행거'
4.0
  • '팬트리선반 5단 펜트리 철제 다용도실 조립 시스템 베란다 가구/인테리어>수납가구>선반'
  • '마켓비 LEITER 선반 600 넓은 4단 가구/인테리어>수납가구>선반'
  • '원목 선반 베란다 정리 우드 랙 다용도 진열대 심플 모듈 가구/인테리어>수납가구>선반'
2.0
  • '아이리스 펠리칸 도어형 공간박스 STB-400D 가구/인테리어>수납가구>공간박스'
  • '온라인박스 택배박스 B골 66호 가구/인테리어>수납가구>공간박스'
  • '심스하임 400 공간박스 4단 24t W컷 안전 아이방 틈새 수납 미니 책장 꽂이 완제품 가구/인테리어>수납가구>공간박스'
7.0
  • '신발걸이 현관 벤치 북유럽 그물 빨간 신발장 가구/인테리어>수납가구>신발장'
  • '대용량 이동식 신발장 학원 기숙사 현관문 공부방 가구/인테리어>수납가구>신발장'
  • '현관 신발장 슬라이딩 초박형 학원 북유럽 붙박이 BD 가구/인테리어>수납가구>신발장'
8.0
  • '우산 비닐 포장기 정리 봉투 보관 홀더 꽂이 업소 자동 혼합형 사무실 통 대용량 입구 빗물 가구/인테리어>수납가구>우산꽂이'
  • '설렘하우스 개업선물 큰우산 우산꽂이 특대 사이즈 업소용 설렘하우스 가구/인테리어>수납가구>우산꽂이'
  • '반투명 우산파우치 봉투 비닐 가구/인테리어>수납가구>우산꽂이'
6.0
  • 'Fusion 접이식수납장 다용도 이동식 다층 접이식 리빙 박스 무설치 양문 가정용 거실 수납함 가구/인테리어>수납가구>수납장'
  • '제인2 미니수납장 작은 수납장 원룸 미닫이 슬라이드 슬라이딩 수납장 600 일반형 가구/인테리어>수납가구>수납장'
  • 'JD홈드레싱 3단 도어장 가구/인테리어>수납가구>수납장'
5.0
  • 'Ac B8 청색 세로형 산다케이스 군 다산 64X91 가구/인테리어>수납가구>소품수납함'
  • '아트사인 원목 수납정리함 5칸 소품 정리 박스 미니 보관함 통 가구/인테리어>수납가구>소품수납함'
  • '플라스틱 헤라 가구/인테리어>수납가구>소품수납함'
1.0
  • '약장 오동나무 고가구 원목 나비장 가구/인테리어>수납가구>고가구'
  • '나전칠기 약장 원목 자개장 화초장 럭셔리 장식 캐비닛 가구/인테리어>수납가구>고가구'
  • '자개장 고가구 거실장 엔틱 빈티지 전통 가구/인테리어>수납가구>고가구'
9.0
  • '홍보책 잡지꽂이 책 진열대 잡지 매거진 팜플렛 거치대 선반 랙 가구/인테리어>수납가구>잡지꽂이'
  • '아크릴 양면 받침대 중 가구/인테리어>수납가구>잡지꽂이'
  • '인테리어용책 소품 잡지책 매거진 카페 쇼품 사무실 DP 가구/인테리어>수납가구>잡지꽂이'

Evaluation

Metrics

Label Accuracy
all 1.0

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_fi5")
# Run inference
preds = model("아카시아 대용량 2단 선반 행거 400호 가구/인테리어>수납가구>행거")

Training Details

Training Set Metrics

Training set Min Median Max
Word count 3 9.0095 20
Label Training Sample Count
0.0 69
1.0 70
2.0 70
3.0 70
4.0 70
5.0 70
6.0 70
7.0 70
8.0 70
9.0 69
10.0 70
11.0 70

Training Hyperparameters

  • batch_size: (256, 256)
  • num_epochs: (30, 30)
  • max_steps: -1
  • sampling_strategy: oversampling
  • num_iterations: 50
  • body_learning_rate: (2e-05, 1e-05)
  • head_learning_rate: 0.01
  • loss: CosineSimilarityLoss
  • distance_metric: cosine_distance
  • margin: 0.25
  • end_to_end: False
  • use_amp: False
  • warmup_proportion: 0.1
  • l2_weight: 0.01
  • seed: 42
  • eval_max_steps: -1
  • load_best_model_at_end: False

Training Results

Epoch Step Training Loss Validation Loss
0.0061 1 0.4852 -
0.3049 50 0.4994 -
0.6098 100 0.4134 -
0.9146 150 0.1731 -
1.2195 200 0.0287 -
1.5244 250 0.0058 -
1.8293 300 0.0003 -
2.1341 350 0.0001 -
2.4390 400 0.0001 -
2.7439 450 0.0001 -
3.0488 500 0.0 -
3.3537 550 0.0 -
3.6585 600 0.0 -
3.9634 650 0.0 -
4.2683 700 0.0 -
4.5732 750 0.0 -
4.8780 800 0.0 -
5.1829 850 0.0 -
5.4878 900 0.0 -
5.7927 950 0.0 -
6.0976 1000 0.0 -
6.4024 1050 0.0 -
6.7073 1100 0.0 -
7.0122 1150 0.0002 -
7.3171 1200 0.0001 -
7.6220 1250 0.0 -
7.9268 1300 0.0 -
8.2317 1350 0.0 -
8.5366 1400 0.0 -
8.8415 1450 0.0 -
9.1463 1500 0.0 -
9.4512 1550 0.0 -
9.7561 1600 0.0 -
10.0610 1650 0.0 -
10.3659 1700 0.0 -
10.6707 1750 0.0 -
10.9756 1800 0.0 -
11.2805 1850 0.0 -
11.5854 1900 0.0 -
11.8902 1950 0.0 -
12.1951 2000 0.0 -
12.5 2050 0.0 -
12.8049 2100 0.0 -
13.1098 2150 0.0 -
13.4146 2200 0.0 -
13.7195 2250 0.0 -
14.0244 2300 0.0 -
14.3293 2350 0.0 -
14.6341 2400 0.0 -
14.9390 2450 0.0 -
15.2439 2500 0.0 -
15.5488 2550 0.0 -
15.8537 2600 0.0 -
16.1585 2650 0.0 -
16.4634 2700 0.0 -
16.7683 2750 0.0 -
17.0732 2800 0.0 -
17.3780 2850 0.0 -
17.6829 2900 0.0 -
17.9878 2950 0.0 -
18.2927 3000 0.0 -
18.5976 3050 0.0 -
18.9024 3100 0.0 -
19.2073 3150 0.0 -
19.5122 3200 0.0 -
19.8171 3250 0.0 -
20.1220 3300 0.0 -
20.4268 3350 0.0 -
20.7317 3400 0.0 -
21.0366 3450 0.0 -
21.3415 3500 0.0 -
21.6463 3550 0.0 -
21.9512 3600 0.0 -
22.2561 3650 0.0 -
22.5610 3700 0.0 -
22.8659 3750 0.0 -
23.1707 3800 0.0 -
23.4756 3850 0.0 -
23.7805 3900 0.0 -
24.0854 3950 0.0 -
24.3902 4000 0.0 -
24.6951 4050 0.0 -
25.0 4100 0.0 -
25.3049 4150 0.0 -
25.6098 4200 0.0 -
25.9146 4250 0.0 -
26.2195 4300 0.0 -
26.5244 4350 0.0 -
26.8293 4400 0.0 -
27.1341 4450 0.0 -
27.4390 4500 0.0 -
27.7439 4550 0.0 -
28.0488 4600 0.0 -
28.3537 4650 0.0 -
28.6585 4700 0.0 -
28.9634 4750 0.0 -
29.2683 4800 0.0 -
29.5732 4850 0.0 -
29.8780 4900 0.0 -

Framework Versions

  • Python: 3.10.12
  • SetFit: 1.1.0
  • Sentence Transformers: 3.3.1
  • Transformers: 4.44.2
  • PyTorch: 2.2.0a0+81ea7a4
  • Datasets: 3.2.0
  • Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}
Downloads last month
992
Safetensors
Model size
111M params
Tensor type
F32
·
Inference Providers NEW
This model is not currently available via any of the supported third-party Inference Providers, and the model is not deployed on the HF Inference API.

Model tree for mini1013/master_cate_fi5

Base model

klue/roberta-base
Finetuned
(213)
this model

Evaluation results