解析Temperature与TopP:如何掌控大模型的输出随机性
解析 Temperature 与 Top P:如何掌控大模型的输出随机性前言 在AI时代,大语言模型(LLM)如 ChatGPT 或Gemini 已成为我们的“数字大脑”。如果你经常使用这些大模型,那你肯定见过Temperature 和 TopP 这两个参数。比如 ChatGPT 的API文档就有介绍: 根据描述: Temperature(温度): 取值在 0 到 2 之间。较高的值(如 0.8)将使输出更加随机,而较低的值(如 0.2)将使输出更加集中和确定。 Top P(核采样): 温度采样的替代方法。模型仅考虑概率质量排名前 P% 的标记的结果。例如,0.1 表示仅考虑概率排名前 10% 的标记。 看到这里,你可能觉得已经懂了:它们就是控制随机性的开关嘛。值越高越发散,值越低越保守。 但仔细一想,问题来了: 为什么值越高越随机,越低越稳定?背后的数学原理是什么? 如果它们控制的都是随机性,为什么需要两个参数? 如果把一个调高,另一个调低,效果会中和吗? 它们是协同工作,还是在完全不同的维度产生影响? 带着这些问题,我们将拆解这两个“黑盒子”,从大模型的底层生成原理出...
AI时代的前端知识拾遗:前端事件循环机制详解(基于 WHATWG 最新规范)
AI时代的前端知识拾遗:前端事件循环机制详解(基于 WHATWG 最新规范)引言最近,我在部门校招生面试中发现,许多候选人更注重 UI 开发与前端框架的使用,却忽略了 JavaScript 的核心机制。虽然我不赞成死记硬背面试“八股文”,但如果对前端基础知识只懂皮毛,就很难让人相信你能在工作中写出清晰、可维护的代码。即便在 AI 辅助编程盛行的时代,掌握这些基础机制依然价值连城——至少能帮助你审视 AI 生成的代码是否合规、是否存在隐患。本文将基于 WHATWG 的 HTML Living Standard,结合浏览器与 V8 引擎的实现视角,对 JavaScript 运行时的 事件循环(Event Loop)机制 进行补充与深入解析。 事件循环是 JavaScript 运行时的核心调度器,它决定了脚本执行、异步回调、定时器、浏览器渲染、事件处理等任务的顺序。理解这一机制,不仅能帮助你开发性能更优、响应更流畅的前端应用,还能揭示浏览器与 V8 引擎之间的协同工作原理。 一、浏览器多进程架构与渲染主线程现代浏览器(例如 Chrome)采用了多进程架构。当用户打开一个标签页时,浏览器...
基于360容器云的K8s MCP Server
基于360容器云的K8s MCP Server容器化时代 (1)物理机时代:多个应用程序会跑在一台机器上。 (2)虚拟机时代:一台物理机器安装多个虚拟机(VM),一个虚拟机跑多个程序。缺点: 资源占用多 冗余步骤多 启动速度慢(3)容器化时代:一台物理机运行多个容器实例(container),一个容器跑一个或多个程序。 Linux容器: 由于虚拟机存在这些缺点,Linux发展出了另一种虚拟化技术:Linux容器(Linux Containers,缩写为LXC)。Linux容器不是模拟一个完整的操作系统,而是对进程进行隔离。或者说,在正常进程的外面套了一个保护层。对于容器里面的进程来说,它接触到的各种资源都是虚拟的,从而实现与底层系统的隔离。 特点: 启动快 资源占用少 体积小 Docker简介:Docker的定义: Docker属于Linux容器的一种封装,提供简单易用的容器使用接口。它是目前最流行的Linux容器解决方案。Docker将应用程序与该程序的依赖,打包在一个文件里面。运行这个文件,就会生成一个虚拟容器。程序在这个虚拟容器里运行,就好像在...
长音频离线语音识别系统——基于Whisper.cpp的本地部署方案
长音频离线语音识别系统——基于Whisper.cpp的本地部署方案背景前段时间接到一个任务,需要将老板的会议录音转为文本,方便助理整理会议纪要。由于是内部会议,对内容保密性要求较高,因此不能使用第三方平台的商业化语音识别API,只能通过本地或公司内网部署的模型来实现。 经过调研,公司内部已经部署了ASR(语音识别)模型,并提供了现成的API。但该API仅支持60秒以内的短音频,而我们的会议录音通常长达2小时左右。如果采用分段切割音频、循环调用API、最后合并结果的方案,虽然可行,但实现起来较为复杂且不够高效。 于是,我开始寻找本地化的语音识别方案。在咨询纳米AI上的DeepSeek后,他们推荐了Whisper.cpp,这是一个能在本地高效运行的语音转文本方案,完美符合我们的需求。 本地部署Whisper1. 简介Whisper 是 OpenAI 推出的高性能语音识别模型,支持多语言转写。whisper.cpp 是其 C++ 实现版本,优化了推理效率,尤其适合本地部署和低资源环境。 它具有以下优势: 高性能:基于 C/C++ 的高效实现,显著提升语音转文本处理速度。 跨...
Cursor + MCP的组合
Cursor + MCP的组合什么是MCP(Model Context Protocol)? MCP可以看作AI应用程序的USB-C接口和AI模型的插件。Anthropic受微软LSP(Language Service Protocol)启发,于2024年11月25日发布的模型上下文协议(ModelContextProtocol,MCP)。它的作用是让各种不同的外部服务通过标准化的接口与AI模型对接。开发者只需要开发一次MCP服务器,就可以让任何支持MCP的客户端使用,不用为每个客户端单独适配。 通俗理解:传统AI模型像一台不能插U盘的电脑,所有数据只能靠内置知识;而MCP相当于给这台电脑装上了USB接口,让它能连接数据库、邮件系统、设计工具等外部设备,实时获取最新数据并执行操作。 mcp官方介绍 如何构建mcp server 案例实践 :Cursor + Figma-Context-MCPFigma-Context-MCP:让 Cursor 可以访问 Figma 设计数据时,它比粘贴屏幕截图等其他方法更能准确地进行一次性设计还原。 配置Mcp的方式 新版本的 Cursor...
前端开发必会的Nginx知识及结合Docker的项目部署实战
前端开发必会的Nginx知识及结合Docker的项目部署实战起因 事情的起因来自一封邮件,年前上线了一个项目官网,在过年期间,突然收到了一封来自安全部门邮件,说上线的官网存在以上安全风险,让尽快处理。现在看来解决这个问题很容易,只需要在Nginx上的server 块中配置 server_name为备案域名,再设置一个默认的server快,匹配所有未明确指定 server_name 的请求并返回403就OK,但是当时对Nginx并不熟悉,导致走了些弯路。所以这篇文章主要是前端在项目部署中,针对常见的Nginx功能的介绍。基于目前前端项目部署方式大多采用Docker的CI/CD工作流来进行,所以也会涉及到Docker以及常见项目部署配置的相关知识。 Nginx介绍Nginx是由伊戈尔·赛索耶夫在2002年创建的,最初是为了解决C10K问题,也就是同时处理上万个并发连接的问题。Apache服务器当时在处理大量并发时效率不高,所以Nginx采用了事件驱动的异步架构,性能更好,资源消耗更低。后来在2004年公开发布,凭借其轻量级、事件驱动、异步非阻塞的架构,迅速成为高性能 Web...
大模型应用之RAG详解
大模型应用之RAG详解1.RAG背景与简介1.1 背景RAG(Retrieval Augmented Generation,检索增强生成)技术最初源于2020年Facebook的一篇论文——《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》。是的,2020年就已经提出了这项技术。 这篇论文要解决的一个问题非常简单:如何让大语言模型使用外部知识进行生成。 通常,预训练模型(pre-trained models)的知识是存储在参数中的,因此模型无法了解训练集之外的知识(例如搜索数据、行业知识)。之前的做法是通过在预训练模型上进行微调(fine-tuning)来更新模型的知识。 这样的方式会有几个问题: 每当有新的知识时,模型都需要重新进行微调。 训练模型的成本是很高。 所有AI模型的底层原理都基于数学概率,大模型也不例外。因此,有时模型在缺乏某方面知识时,可能会生成不准确的内容(即“幻觉”)。而识别这些幻觉问题对于用户来说是相当困难的,因为这需要用户具备相应领域的知识。 对于企业而言,数据安全至关...
AI视频解决方案汇总
AI视频解决方案汇总随着人工智能技术的不断发展,AI生成视频的领域也在不断壮大。从基于大规模数据的深度学习方法到创新的算法和工具,各种解决方案正在不断涌现,为视频制作带来了新的可能性,从最开始的Pika、Runway到一经问世就惊艳众人的Sora,可以说大模型在多模态,特别是视频模态的发展速度远超我们的想象。不过就文生视频而言,目前市面上仍然没有像ChantGPT这样的现象级产品出现。经过对目前主流文生视频解决方案的调研,我整理了以下内容供大家参考。 基于Stable Diffusion的动画插件方案Stable Diffusion(下文简称SD)是2022年发布的深度学习文本到图像生成模型,通过它可以实现文生图的功能,并且它是免费且开源的,你可以通过Stable Diffusion WebUI(下文简称SD WebUI)提供的浏览器界面来利用SD大模型实现文生图的功能。网上有很多在本地或是云端部署SD WebUI的方法,这里不多赘述,下面介绍的插件,都可以通过SD WebUI来进行安装,并配合SD大模型来实现文生视频的功能。 1. Animatediff + Prompt Tr...
前端开发中的路由模式-待发布
前端开发中的路由模式前言前端开发中的路由是一个关键概念,它负责确定页面内容的显示和URL的管理。无论你是用vue-router还是react-router,通常有两种常见的模式,即路由哈希(Hash)模式和历史(History)模式,无论那种模式都可在URL变化的同时,不触发HTML物理文件的重新加载。在本文中,我将详细介绍这两种路由模式的实现原理和区别,以及提供相应的代码示例。 路由的概念路由是一种将URL与Web应用程序中的不同视图或页面关联起来的机制。它允许用户通过浏览器的地址栏或导航操作来切换和访问不同的页面或视图,而无需重新加载整个页面。路由在单页面应用程序(SPA)中特别有用,因为SPA通常仅加载一次,而后续页面切换通过路由来实现。 路由哈希(Hash)模式实现原理路由哈希模式使用URL中的哈希(#)来管理路由。在这种模式下,会在原有的URL路径后面拼接/#/xxx,这种方式可以在不重新加载原有HTML文件的基础上,实现切换URL路径的目的。实现路由哈希模式的关键是监听window.location.hash属性的变化。 当用户点击链接或进行导航时,JavaScri...
如何开发一款JSSDK
如何开发一款JSSDKJSSDK的定义与分类什么是JSSDKSDK是Software Development Kit(软件开发工具包)的缩写,JSSDK是为了帮助前端实现特定需求,而向开发者暴露的一些JS-API的集合,开发者可以通过它在网页中集成和使用某些特定的功能,例如社交分享、地图服务、支付功能等.它通常包括一下模块: JavaScript库:这是 JSSDK 的核心部分,包含了一系列预先编写好的JavaScript代码,这些代码实现了一些特定的功能,如用户认证、数据分析、社交分享等。 API 文档:这部分文档详细描述了如何使用 JSSDK 中的各个功能。它通常会包含函数和方法的列表,以及如何使用这些函数和方法。 示例代码:这部分代码展示了如何在实际项目中使用 JSSDK。通过阅读和运行示例代码,开发者可以更好地理解如何使用 JSSDK。 JSSDK的分类JSSDK 的分类主要取决于它们提供的功能和服务。通常根据其功能不同分为:UI组件库、JS工具库、分析统计SDK、社交媒体SDK UI组件库:通过封装一系列组件,通过配置帮助开发者调用,实现一些UI效果,例如:Ant...
