---
license: apache-2.0
language:
- en
pipeline_tag: fill-mask
tags:
- code
---
# Shuu12121/CodeDiff-Owl-ModernBERT-base

## モデル概要

**CodeDiff-Owl-ModernBERT-base** は、GitHub の **コード差分（diff）とコミットメッセージ** を対象にマスク化言語モデル (MLM) で学習した、**diff・コミット履歴特化の ModernBERT 系モデル** です。

* ベースモデル: `ModernBERT`
* 事前学習タスク: マスク化言語モデル (Masked Language Modeling; MLM)
* 入力フォーマット:
  `"[CLS]" + commit_message + "[SEP]" + diff`
* 対象言語:
  diff 内のコードとして **Python / Java / JavaScript / Rust** を含むリポジトリ

コミットメッセージと diff を同時にエンコードすることで、**「どのような変更(diff)に対して、どのような説明(コミットメッセージ)が付くか」** という対応関係を捉えることを目的としています。
今後、学習を継続した「完全版」を公開予定です（本モデルは 1.8 epoch 時点の途中版です）。

---

## 想定される用途

### 主なユースケース

* コード変更差分に対する意味的検索

  * 例: 「バグ修正」「ログ出力の追加」などの自然言語・疑似クエリと diff の類似度計算
* コミットメッセージと diff の表現獲得

  * 例: コミットメッセージ・diff の埋め込みベクトルを用いたクラスタリングや可視化
* diff＋コミットメッセージを入力とする下流タスクの初期化

  * コミットメッセージ生成・補完
  * コードレビューメモの生成 など

### 非推奨 / 注意が必要な用途

* 汎用自然言語モデルとしての利用（一般文書に対する性能は未検証）
* セキュリティやライセンス上の判断の自動化（著作権・ライセンス判定など）
* 高リスク領域での自動意思決定（法的判断、安全性が重要な場面など）

---

## 学習データ

### データソース

* GitHub 上の公開リポジトリ
* GitHub の「言語判定」により **Python / Java / JavaScript / Rust** 含有と判断されたリポジトリを対象
* 各リポジトリから、コミットごとの **diff とコミットメッセージ** を収集
* 各リポジトリあたり最大 **1万件** のコミットを上限としてサンプリング
* 収集した diff 全体で、おおよそ **70〜100GB 程度**（テキストベース）の規模

### 前処理・フィルタリング

* diff が **32KB を超える場合は途中で打ち切り**

* テキストとして読み取り可能な diff のみを利用

---

## 学習設定

* 初期化: ModernBERTアーキテクチャをもとにランダムな初期値から学習
* タスク: マスク化言語モデル (MLM)
* 入力フォーマット:
  `"[CLS]" + commit_message + "[SEP]" + diff`
  ※実装で特別な変更は加えていません
* バッチサイズ: **64**
* 学習率 (learning rate): **1e-6**
* エポック数: **1.8 epoch**（時間制約により途中で打ち切り）
* 学習時間: 約 **4日間**
* その他:

  * モデル構造自体には特別な改変なし
  * 純粋に MLM のみで学習（コントラスト学習などは未実施）

今後、同様の設定でもう少し長く学習した「完全版」を公開予定です。

---

## 入力形式と使い方

### 入力形式

* **Segment A (sentence A)**: コミットメッセージ（自然言語）
* **Segment B (sentence B)**: 対応する diff テキスト

トークナイザには、以下のように「2つの入力」として与えてください。

```python
from transformers import AutoTokenizer, AutoModel

model_name = "Shuu12121/CodeDiff-Owl-ModernBERT-base"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)

commit_message = "Fix bug in user login flow"
diff_text = """
diff --git a/app/auth.py b/app/auth.py
index 1234567..89abcde 100644
--- a/app/auth.py
+++ b/app/auth.py
@@ -10,7 +10,9 @@ def login(user, password):
-    if user.password == password:
-        return True
-    return False
+    if not user:
+        return False
+    return user.check_password(password)
"""

inputs = tokenizer(
    commit_message,
    diff_text,
    return_tensors="pt",
    truncation=True,
)

outputs = model(**inputs)
last_hidden_state = outputs.last_hidden_state     # [batch, seq_len, hidden]
cls_embedding = last_hidden_state[:, 0]           # [CLS] トークンの埋め込み
```

* `cls_embedding` を **コミット＋diff の表現ベクトル** として検索・クラスタリング等に利用することを想定しています。
* diff が非常に長い場合はモデル側でトークン長に応じて自動的に切り詰められるため、必要に応じて自前で要約・抽出を行ってください。

---

## 評価

* 本モデルは現時点では **事前学習段階のスナップショット (1.8 epoch)** です。
* 具体的な使用用途については今後検討予定です。

---