tokenizer.js

const { getTokenizer } = require('@anthropic-ai/tokenizer');
const tokenizer = getTokenizer();
function getTokenCount(text) {
  const tokens = tokenizer.encode(text.normalize('NFKC'), 'all');
  return tokens.length;
}
const text = process.argv[2];
const tokenCount = getTokenCount(text);
console.log(tokenCount);