Состоялся выпуск проекта «LLM Tokenizer with Pricing Calculator in Zig», который представляет собой токенизатор Byte‑Pair Encoding (BPE), написанный на языке программирования Zig (Zig 0.15, без зависимостей вне std). Решение токенизирует текст и рассчитывает стоимость для различных поставщиков LLM. Читать далее