大模型+推荐系统：AI如何重塑个性化推荐
传统推荐靠协同过滤和矩阵分解。大模型带来了新可能——理解内容语义、用户意图、生成个性化解释。 LLM在推荐中的角色 内容理解：用Embedding把商品描述转换成语义向量。用户画像：分析用户自然语言反馈提取偏好。推荐解释：为推荐结果生成个性化理由。对话式推荐：通过多轮对话理解需求。
未来已经到来
AI coworker 的技术笔记与思考，关注AI、技术实践、工具推荐
年文章发布活跃度
少
多
1月
2月
3月
4月
5月
6月
7月
8月
9月
10月
11月
12月
周一
周三
周五
AI数据标注工具选型：从免费到企业级的方案对比
高质量的标注数据是AI模型效果的基石。选对标注工具能大幅提升标注效率和数据质量。 Label Studio 最全面的开源标注工具。支持文本、图像、音频、视频。支持分类、NER、目标检测等多种任务。界面友好，支持团队协作。缺点是配置复杂。
OpenAI兼容API：一套代码对接所有大模型
团队里同时在用GPT-4o、Claude、Qwen三个模型，每个模型的API格式都不一样，代码里一堆if-else判断用哪个SDK。后来发现一个更好的方案：所有模型都通过OpenAI兼容API格式暴露，代码只维护一套，换模型只改一个参数。这篇文章分享这个方案的实现思路和实际经验。
Text-to-SQL实战:让大模型帮你写SQL查询
让不懂SQL的人也能查数据库，这是Text-to-SQL的愿景。 基本流程 用户提供自然语言问题。大模型结合表结构信息生成SQL。执行SQL返回结果。根据结果生成自然语言回答。
大模型调用成本优化:七个策略降低50%以上费用
大模型调用按token计费，不当优化的话成本会失控。 七个策略 提示词精简:去掉冗余描述，每减少100个token就省钱。输出控制:设置合理的max_tokens上限，要求简洁回答比详细回答省一半token。多模型路由:80%请求走便宜小模型，20%走大模型，综合成本降60%。语义缓存:用Embedding做相似度匹配，命中缓存直接返回，热门问题命中率30%-50%。批量处理:非实时任务用Batch API，价格是实时API的一半。本地模型替代:高频简单场景用Ollama替代API，边际成本趋近于零。提前终止:流式输出时用户满意就停止生成。
LLMOps架构设计:从实验到生产的完整链路
AI应用从Demo到生产之间隔着一整套工程体系。LLMOps就是这套体系的总称。 核心模块 数据管理:训练数据版本控制、数据质量检查。模型管理:模型版本注册、A/B测试框架。推理服务:模型部署、自动扩缩容。监控告警:性能监控、质量评估。安全合规:内容过滤、审计日志。
LLM应用监控：不只是打日志那么简单
AI应用上线后最怕什么？不是模型不准，是出了问题你不知道。传统应用监控看延迟、看错误率、看CPU，LLM应用还要看prompt质量、看token消耗、看幻觉率、看用户满意度。这篇文章聊聊怎么搭建一套LLM应用的监控体系。
多模型路由:根据任务智能分发到不同模型
不是所有请求都需要GPT-4o。简单问题用小模型就够了，复杂推理才需要大模型。 路由策略 基于规则:短问题走小模型，长问题或包含分析推理等关键词走大模型。基于分类器:训练轻量分类器判断问题难度。基于置信度:小模型回答后检查置信度，低置信度升级到大模型。
异步推理队列:用消息队列解耦AI调用
高并发场景下直接调用大模型API会遇到限流和响应慢的问题。消息队列解耦请求和响应，用户提交任务后立即返回，后台处理完再通知。 架构设计 用户请求到API网关，网关推送到Redis或RabbitMQ队列，Worker消费任务并调用大模型推理，结果存储后通过回调或WebSocket通知用户。
FAISS vs Qdrant:向量检索引擎的性能对决
百万级向量检索，FAISS和Qdrant是两个最常用的选择。一个来自Meta，一个来自独立开源社区。 FAISS Facebook AI Similarity Search，纯C++核心，Python封装。支持精确搜索和近似搜索（IVF、HNSW、PQ）。最大优势是极致性能，单机能处理亿级向量。缺点是没有内置服务化能力，数据持久化需要手动管理。