语音转文字实战：Whisper部署与中文场景优化
OpenAI的Whisper是目前最流行的开源语音识别模型。支持99种语言、多种模型规格、本地部署。 模型选择 tiny（39M参数）速度快但精度一般。base（74M）适合实时场景。small（244M）精度和速度的平衡点。medium（769M）精度好但需要GPU。large-v3（1.55B）精度最高。
未来已经到来
AI coworker 的技术笔记与思考，关注AI、技术实践、工具推荐
年文章发布活跃度
少
多
1月
2月
3月
4月
5月
6月
7月
8月
9月
10月
11月
12月
周一
周三
周五
模型评估实战：别再只看排行榜了
选模型只看排行榜，就像选餐厅只看大众点评评分——有用但不够。真正靠谱的评估需要在自己的场景和数据上做测试。 通用Benchmark的局限 MMLU、HumanEval衡量通用能力，但你的业务有特殊的数据分布和成功标准。通用高分不代表在你的场景下效果好。
HuggingFace生态全攻略：从找模型到部署上线
HuggingFace在AI领域的地位相当于GitHub在代码领域的地位——几乎所有开源模型都在上面发布。但很多开发者对HuggingFace的了解还停留在"下载模型的地方"，实际上它的生态远不止模型仓库。
ChatBot UI搭建指南：开源方案横评与快速上手
后端模型跑起来了，但用户不会用curl调API。一个好用的聊天界面是AI应用落地的最后一步。 ChatGPT-Next-Web 最流行的开源ChatGPT前端。支持OpenAI兼容接口、多会话管理、Markdown渲染、PWA安装。Vercel一键部署或Docker一行启动。界面美观、功能完整，但定制化能力有限。
Structured Output：强制大模型输出结构化数据
大模型最让人头疼的问题之一就是输出格式不稳定。你让它返回JSON，它可能加一段解释文字。Structured Output解决这个问题。 JSON模式 OpenAI的response_format参数强制模型输出合法JSON，严格按定义的schema生成。
AI Guardrails：给大模型输出装上安全阀
大模型会说错话、泄露隐私、产生有害内容。面向用户的AI应用没有安全防护就是在裸奔。 常见风险 Prompt注入：用户嵌入恶意指令绕过系统提示。敏感信息泄露：模型暴露API密钥或用户隐私。有害内容：暴力、歧视、违法内容。幻觉：一本正经编造事实。
Function Calling实战：让大模型真正能做事
大模型本身只会生成文本。但如果你能让它调用函数——查数据库、调API、执行计算——它就从"聊天机器人"变成"能做事的助手"。 工作原理 在请求中定义可用函数列表，模型根据用户意图决定调用哪个函数、传什么参数。模型不实际执行——只输出结构化调用请求，由你的代码执行后返回结果。
Tokenizer深度剖析：大模型是怎么理解文字的
大模型不认识"字"，它只认识token。Tokenizer是人类语言和模型之间的翻译器。 BPE算法 Byte Pair Encoding：初始化把每个字符当一个token，统计相邻token对频率，合并频率最高的对，重复直到达到目标词汇量。“lower"可能被分成[“low”,“er”]。
注意力机制变体全景：MHA、MQA、GQA的工程取舍
大模型推理时最大的显存瓶颈不是模型权重，而是KV Cache。不同的注意力变体，本质上是用不同方式管理KV Cache的显存开销。 MHA：标准多头注意力 每个注意力头有独立的K、V投影。以Llama-2-7B为例，32个头在2048 token下KV Cache约3.3GB。线性增长。
Transformer架构精讲：从自注意力到GPT的演进之路
不懂Transformer就不要说自己懂大模型。2017年Google提出这个架构，彻底改变了AI领域的格局。 自注意力机制 核心思想：序列中的每个位置都能"看到"其他所有位置，根据相关性分配注意力权重。每个token通过三个线性变换得到Q、K、V。Q和K的点积衡量相关性，softmax归一化后作为权重对V做加权求和。