tokenizer-nb

import%20marimo%0A%0A__generated_with%20%3D%20%220.22.5%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20%23%20Function%20to%20detect%20automatically%20if%20this%20is%20a%20webassembly%20notebook%0A%20%20%20%20def%20is_webassembly_notebook()%3A%0A%20%20%20%20%20%20%20%20import%20sys%0A%20%20%20%20%20%20%20%20return%20sys.platform%20%3D%3D%20'emscripten'%0A%0A%20%20%20%20%23%20If%20it%20is%20a%20webassembly%20notebook%20install%20the%20package%20on%20the%20fly%0A%20%20%20%20if%20is_webassembly_notebook()%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22transformers_js_py%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20random%0A%0A%20%20%20%20return%20(random%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20from%20transformers_js_py%20import%20import_transformers_js%0A%0A%20%20%20%20return%20(import_transformers_js%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20model%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%5B%22Qwen%2FQwen3-0.6B%22%2C%20%22mistralai%2FMistral-7B-Instruct-v0.3%22%2C%20%22unsloth%2Fgemma-3-270m-it%22%2C%20%22Custom%20model%22%5D%2C%20value%3D%22Qwen%2FQwen3-0.6B%22%2C%20label%3D%22Choose%20a%20model%3A%22%0A%20%20%20%20)%0A%20%20%20%20model%0A%20%20%20%20return%20(model%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20model)%3A%0A%20%20%20%20%23%20Conditionally%20display%20a%20text%20input%20based%20on%20the%20dropdown's%20value%0A%20%20%20%20text_input%20%3D%20mo.ui.text()%20if%20model.value%20%3D%3D%20%22Custom%20model%22%20else%20None%0A%20%20%20%20%23%20Display%20the%20conditional%20input%0A%20%20%20%20text_input%0A%20%20%20%20return%20(text_input%2C)%0A%0A%0A%40app.cell%0Aasync%20def%20_(import_transformers_js)%3A%0A%20%20%20%20transformers%20%3D%20await%20import_transformers_js()%0A%20%20%20%20AutoTokenizer%20%3D%20transformers.AutoTokenizer%0A%20%20%20%20return%20(AutoTokenizer%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20text%20%3D%20mo.ui.text_area(label%3D%22Input%20some%20text%3A%22%2C%20value%3D%22The%20dog%20eats%20the%20apples%22%2C%20debounce%3DFalse%2C%20placeholder%3D%22Type%20some%20text...%22)%0A%20%20%20%20text%0A%20%20%20%20return%20(text%2C)%0A%0A%0A%40app.cell%0Aasync%20def%20_(AutoTokenizer%2C%20model%2C%20random%2C%20text%2C%20text_input)%3A%0A%20%20%20%20number_of_tokens%20%3D%200%0A%20%20%20%20tokens_html%20%3D%20%22%22%0A%20%20%20%20spans_1%20%3D%20%22%22%0A%20%20%20%20message%20%3D%20%22%22%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20model_name%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20text_input.value.strip()%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20model.value%20%3D%3D%20%22Custom%20model%22%0A%20%20%20%20%20%20%20%20%20%20%20%20else%20model.value%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20if%20not%20model_name%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20pass%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tokenizer%20%3D%20await%20AutoTokenizer.from_pretrained(model_name)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20message%20%3D%20%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20Exception%20as%20e%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20message%20%3D%20f'%E2%9D%8C%20%7Be%7D'%0A%20%20%20%20%20%20%20%20%20%20%20%20encoded_tokens%20%3D%20tokenizer.encode(text.value)%0A%20%20%20%20%20%20%20%20%20%20%20%20number_of_tokens%20%3D%20len(encoded_tokens)%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20i%2C%20token%20in%20enumerate(encoded_tokens)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20decoded_token%20%3D%20tokenizer.decode(%5Btoken%5D).replace(%22%3C%22%2C%20%22%26lt%3B%22).replace(%22%3E%22%2C%20%22%26gt%3B%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20random.seed(token)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20random_color%20%3D%20''.join(%5Brandom.choice('0123456789ABCDEF')%20for%20k%20in%20range(6)%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20token_html%20%3D%20f'%3Cspan%20style%3D%22color%3A%20%23%7Brandom_color%7D%3B%22%3E%7Btoken%7D%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tokens_html%20%2B%3D%20f%22%20%7Btoken_html%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20spans_1%20%2B%3D%20%22%20%22%20%2B%20f%22%22%22%3Cspan%20style%3D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-right%3A%203px%20solid%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%203em%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-family%3A%20courier%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background-color%3A%20%23%7Brandom_color%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20position%3A%20relative%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%3E%3Cspan%20style%3D%22position%3A%20absolute%3B%20top%3A%205ch%3B%20line-height%3A%201em%3B%20left%3A%200.5px%3B%20font-size%3A%200.45em%22%3E%7Btoken%7D%3C%2Fspan%3E%7Bdecoded_token%7D%3C%2Fspan%3E%22%22%22%0A%20%20%20%20except%3A%0A%20%20%20%20%20%20%20%20feedback%20%3D%20None%0A%20%20%20%20%20%20%20%20pass%0A%20%20%20%20return%20message%2C%20number_of_tokens%2C%20spans_1%2C%20tokens_html%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20tokens_html)%3A%0A%20%20%20%20mo.Html(tokens_html)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20spans_1)%3A%0A%20%20%20%20mo.Html(spans_1)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20number_of_tokens%2C%20text)%3A%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20Tokens%3A%20**%7Bnumber_of_tokens%7D**%0A%0A%20%20%20%20Characters%3A%20**%7Blen(text.value)%7D**%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(message%2C%20mo)%3A%0A%20%20%20%20mo.md(message)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A