chat-template

import%20marimo%0A%0A__generated_with%20%3D%20%220.22.5%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20micropip%0A%0A%20%20%20%20await%20micropip.install(%22transformers_js_py%22)%0A%20%20%20%20await%20micropip.install(%22openai%22)%0A%20%20%20%20await%20micropip.install(%22pydantic%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20from%20openai%20import%20pydantic_function_tool%0A%0A%20%20%20%20return%20mo%2C%20pydantic_function_tool%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%20Chat%20is%20an%20abstraction%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20model_id%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%5B%22Qwen%2FQwen3-0.6B%22%2C%20%22Qwen%2FQwen2.5-0.5B-Instruct%22%2C%20%22mistralai%2FMistral-7B-Instruct-v0.3%22%2C%20%22unsloth%2Fgemma-3-270m-it%22%2C%20%22Custom%20model%22%5D%2C%20value%3D%22Qwen%2FQwen3-0.6B%22%2C%20label%3D%22Choose%20a%20model%3A%22%0A%20%20%20%20)%0A%20%20%20%20return%20(model_id%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20model_id)%3A%0A%20%20%20%20%23%20Conditionally%20display%20a%20text%20input%20based%20on%20the%20dropdown's%20value%0A%20%20%20%20text_input%20%3D%20mo.ui.text()%20if%20model_id.value%20%3D%3D%20%22Custom%20model%22%20else%20None%0A%20%20%20%20%23%20Display%20the%20conditional%20input%0A%20%20%20%20text_input%0A%20%20%20%20return%20(text_input%2C)%0A%0A%0A%40app.cell%0Adef%20_(model_id%2C%20text_input)%3A%0A%20%20%20%20model_name%20%3D%20(%0A%20%20%20%20%20%20%20%20text_input.value.strip()%0A%20%20%20%20%20%20%20%20if%20model_id.value%20%3D%3D%20%22Custom%20model%22%0A%20%20%20%20%20%20%20%20else%20model_id.value%0A%20%20%20%20)%0A%20%20%20%20return%20(model_name%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20from%20transformers_js_py%20import%20import_transformers_js%0A%0A%20%20%20%20return%20(import_transformers_js%2C)%0A%0A%0A%40app.cell%0Aasync%20def%20_(import_transformers_js)%3A%0A%20%20%20%20transformers%20%3D%20await%20import_transformers_js()%0A%20%20%20%20AutoTokenizer%20%3D%20transformers.AutoTokenizer%0A%20%20%20%20return%20(AutoTokenizer%2C)%0A%0A%0A%40app.cell%0Aasync%20def%20_(AutoTokenizer%2C%20model_name)%3A%0A%20%20%20%20tokenizer%20%3D%20await%20AutoTokenizer.from_pretrained(model_name)%0A%20%20%20%20return%20(tokenizer%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20system_message%20%3D%20mo.ui.text_area(%22You%20are%20a%20helpful%20assistant.%22%2C%20rows%3D1%2C%20debounce%3DFalse%2C%20label%3D%22System%20message%3A%22)%0A%20%20%20%20return%20(system_message%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20user_message%20%3D%20mo.ui.text_area(%22Hi!%22%2C%20rows%3D2%2C%20debounce%3DFalse%2C%20label%3D%22User%20message%3A%22)%0A%20%20%20%20return%20(user_message%2C)%0A%0A%0A%40app.cell%0Adef%20_(system_message%2C%20user_message)%3A%0A%20%20%20%20messages%20%3D%20%5B%5D%0A%20%20%20%20if%20system_message.value%20!%3D%20%22%22%3A%0A%20%20%20%20%20%20%20%20messages.append(%7B%22role%22%3A%20%22system%22%2C%20%22content%22%3A%20system_message.value%7D)%0A%20%20%20%20if%20user_message.value%20!%3D%20%22%22%3A%0A%20%20%20%20%20%20%20%20messages.append(%7B%22role%22%3A%20%22user%22%2C%20%22content%22%3A%20user_message.value%7D)%0A%20%20%20%20return%20(messages%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20add_generation_prompt%20%3D%20mo.ui.checkbox(label%3D%22Add%20generation%20prompt%3A%22)%0A%20%20%20%20return%20(add_generation_prompt%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20multiselect%20%3D%20mo.ui.multiselect(%0A%20%20%20%20%20%20%20%20options%3D%5B%22current_time%22%2C%20%22multiply%22%5D%2C%20label%3D%22Provide%20some%20tools%3A%22%0A%20%20%20%20)%0A%20%20%20%20return%20(multiselect%2C)%0A%0A%0A%40app.cell%0Adef%20_(multiselect%2C%20tool_current_time%2C%20tool_multiply)%3A%0A%20%20%20%20tools%20%3D%20%5B%5D%0A%20%20%20%20if%20%22current_time%22%20in%20multiselect.value%3A%0A%20%20%20%20%20%20%20%20tools.append(tool_current_time)%0A%20%20%20%20if%20%22multiply%22%20in%20multiselect.value%3A%0A%20%20%20%20%20%20%20%20tools.append(tool_multiply)%0A%20%20%20%20return%20(tools%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20from%20pydantic%20import%20BaseModel%2C%20Field%0A%0A%20%20%20%20return%20BaseModel%2C%20Field%0A%0A%0A%40app.cell%0Adef%20_(BaseModel%2C%20Field)%3A%0A%20%20%20%20class%20multiply(BaseModel)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Multiply%20two%20integers%20together.%22%22%22%0A%0A%20%20%20%20%20%20%20%20a%3A%20int%20%3D%20Field(...%2C%20description%3D%22First%20integer%22)%0A%20%20%20%20%20%20%20%20b%3A%20int%20%3D%20Field(...%2C%20description%3D%22Second%20integer%22)%0A%0A%20%20%20%20return%20(multiply%2C)%0A%0A%0A%40app.cell%0Adef%20_(multiply%2C%20pydantic_function_tool)%3A%0A%20%20%20%20tool_multiply%20%3D%20pydantic_function_tool(multiply)%0A%20%20%20%20return%20(tool_multiply%2C)%0A%0A%0A%40app.cell%0Adef%20_(BaseModel%2C%20Field)%3A%0A%20%20%20%20class%20current_time(BaseModel)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Get%20the%20current%20local%20time%20as%20a%20string.%22%22%22%0A%20%20%20%20%20%20%20%20time_now%3A%20str%20%3D%20Field(...%2C%20description%3D%22current%20local%20time%22)%0A%0A%20%20%20%20return%20(current_time%2C)%0A%0A%0A%40app.cell%0Adef%20_(current_time%2C%20pydantic_function_tool)%3A%0A%20%20%20%20tool_current_time%20%3D%20pydantic_function_tool(current_time)%0A%20%20%20%20return%20(tool_current_time%2C)%0A%0A%0A%40app.cell%0Adef%20_(add_generation_prompt%2C%20messages%2C%20mo%2C%20tokenizer%2C%20tools)%3A%0A%20%20%20%20if%20messages%20!%3D%20%5B%5D%3A%0A%20%20%20%20%20%20%20%20if%20tools%20!%3D%20%5B%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20output2%20%3D%20mo.Html(tokenizer.apply_chat_template(messages%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20add_generation_prompt%3D%20add_generation_prompt.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tools%3Dtools%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tokenize%3DFalse).replace(%22%23%22%2C%20%22%5C%23%22).replace(%22%3C%22%2C%20%22%26lt%22).replace(%22%3E%22%2C%20%22%26gt%22).replace(%22%5Cn%22%2C%20%22%3Cbr%3E%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20output2%20%3D%20mo.Html(tokenizer.apply_chat_template(messages%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20add_generation_prompt%3D%20add_generation_prompt.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tokenize%3DFalse).replace(%22%23%22%2C%20%22%5C%23%22).replace(%22%3C%22%2C%20%22%26lt%22).replace(%22%3E%22%2C%20%22%26gt%22).replace(%22%5Cn%22%2C%20%22%3Cbr%3E%22))%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20output2%20%3D%20%22%22%0A%20%20%20%20return%20(output2%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20add_generation_prompt%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20model_id%2C%0A%20%20%20%20multiselect%2C%0A%20%20%20%20output2%2C%0A%20%20%20%20system_message%2C%0A%20%20%20%20user_message%2C%0A)%3A%0A%20%20%20%20mo.hstack(%5Bmo.vstack(%5Bmodel_id%2C%20system_message%2C%20user_message%2C%20add_generation_prompt%2C%20multiselect%5D)%2C%20mo.vstack(%5Bmo.md(%22**What%20the%20LLM%20sees%3A**%22)%2C%20output2%5D%2C%20align%3D%22start%22%2C%20justify%3D%22start%22)%5D%2C%20gap%3D2%2C%20widths%3D%5B1%2C2%5D)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A