package info (click to toggle)
pytorch-text 0.14.1-2
  • links: PTS, VCS
  • area: main
  • in suites: bookworm
  • size: 11,560 kB
  • sloc: python: 14,197; cpp: 2,404; sh: 214; makefile: 20

Folder: csrc

d .. (parent)
- - rw-r--r-- 4,095 CMakeLists.txt
- - rw-r--r-- 10,112 bert_tokenizer.cpp
- - rw-r--r-- 2,024 bert_tokenizer.h
- - rw-r--r-- 5,029 clip_tokenizer.cpp
- - rw-r--r-- 1,522 clip_tokenizer.h
- - rw-r--r-- 825 common.cpp
- - rw-r--r-- 412 common.h
- - rw-r--r-- 1,165 export.h
- - rw-r--r-- 11,416 gpt2_bpe_tokenizer.cpp
- - rw-r--r-- 4,334 gpt2_bpe_tokenizer.h
- - rw-r--r-- 698 regex.cpp
- - rw-r--r-- 687 regex.h
- - rw-r--r-- 1,806 regex_tokenizer.cpp
- - rw-r--r-- 1,039 regex_tokenizer.h
- - rw-r--r-- 10,873 register_pybindings.cpp
- - rw-r--r-- 8,290 register_torchbindings.cpp
- - rw-r--r-- 2,627 sentencepiece.cpp
- - rw-r--r-- 1,757 sentencepiece.h
- - rw-r--r-- 11,256 vectors.cpp
- - rw-r--r-- 1,776 vectors.h
- - rw-r--r-- 5,357 vocab.cpp
- - rw-r--r-- 3,100 vocab.h
- - rw-r--r-- 8,308 vocab_factory.cpp
- - rw-r--r-- 665 vocab_factory.h