YABO-如何在NVIDIA Jetson平台上运行最新的开源AI模型

于小型、低功耗的边沿装备上运行进步前辈的 AI 及计较机视觉事情流正变患上愈来愈具备挑战性。呆板人、智能摄像头及自立装备需要及时智能来感知、理解并做出反映，而无需依靠云端。NVIDIA Jetson 平台经由过程紧凑的 GPU 加快模块及专为边沿 AI 与呆板人开发设计的开发套件，满意了这一需求。

本文将先容怎样于 NVIDIA Jetson 平台上运行最新的开源 AI 模子，实现彻底自力运行并可随时部署。把握这些基础常识后，你就能够快速从简朴的演示过渡到构建各类运用，好比打造私家代码助手，或者者构建彻底自立的智能呆板人。

教程一：打造你的小我私家AI助手——当地运行年夜语言模子与视觉模子

上手边沿 AI 的一个绝佳方式，就是于当地装备上运行年夜语言模子（LLM）或者视觉语言模子（VLM）。于本身的装备上直接运行这些模子，能带来两个要害上风：彻底的隐私性与零收集延迟。

当利用外部 API 时，数据往往需要上传到云端，这就象征着掉去了对于信息的节制权。而于 Jetson 上，不管是小我私家条记、私有代码，还有是摄像头数据，所有输入都始终保留于当地，确保对于信息的彻底掌控。同时，因为无需依靠收集传输，每一一次交互都能刹时相应。

开源社区让这一切变患上触手可和。而能构建出多强盛的 AI 助手，很年夜水平上取决在选择的 Jetson 配置：

NVIDIA Jetson Orin Nano Super 开发者套件（8GB）：合适打造轻量级专属 AI 助手。你可以轻松部署像 Llama 3.2 3B 或者 Phi-3 这种高速“小语言模子”。这些模子不仅推理速率快且都能于 8GB 内存限定下游畅运行，同时 Hugging Face 社区会连续推出针对于如编程辅助、创意写作等特定场景的新微调版本。

NVIDIA Jetson AGX Orin（64GB）：依附更年夜的内存及更强的 AI 算力，它能胜任更年夜且更繁杂的使命，例如用在深度推理的 gpt-oss-20b 或者量化版的 Llama 3.1 70B。

NVIDIA Jetson AGX Thor（128GB）：拥有高达 128GB 的内存，提供一流的机能。让你可以或许于边沿端运行参数范围跨越 100B 的超年夜模子，真正把数据中央级另外智能带到边沿端。

假如你手头正好有一台 AGX Orin，此刻就能够动手尝尝：用 vLLM 作为推理引擎，搭配界面友爱、雅观易用的 Open WebUI，很快就能启动一个 gpt-oss-20b 实例。

docker run --rm -it \ --network host \ --shm-size=16g \ --ulimit memlock=-1 \ --ulimit stack=67108864 \ --runtime=nvidia \ --name=vllm \ -v 美金HOME/data/models/huggingface:/root/.cache/huggingface \ -v 美金HOME/data/vllm_cache:/root/.cache/vllm \ ghcr.io/nvidia-ai-iot/vllm:latest-jetson-orinvllm serve openai/gpt-oss-20b

于另外一个终端中运行 Open WebUI：

docker run -d \ --network=host \ -v 美金{HOME}/open-webui:/app/backend/data \ -e OPENAI_API_BASE_URL=http://0.0.0.0:8000/v1 \ --name open-webui \ ghcr.io/open-webui/open-webui:main

然后查阅：http://localhost:8080

于此基础上，你可以与年夜语言模子举行天然交互，并进一步为它集成各类东西，使其具有智能体能力，好比搜刮、数据阐发和语音输出（TTS）。

图 1. 基在 Jetson AGX Orin，经由过程 Open WebUI 界面利用 vLLM 举行 GPT-OSS 20B 模子推理的演示，天生速率达每一秒 40 个 token

然而，仅靠文本还有不足以构建能真正与物理世界交互的智能体，它需要具备多模态感知能力。于这方面，既能辨认画面中的物体，又能对于整个场景举行推理的视觉语言模子正成为主流选择，好比 VILA 及 Qwen2.5-VL。面临一段及时视频流，这种模子可以回覆如“此次 3D 打印是否是掉败了？”或者“外面此刻的交通状态怎么样？”等问题。

Jetson Orin Nano Super 开发者套件可以运行像 VILA-2.7B 这种高效的视觉语言模子，来完成基础检测及简朴的视觉查询使命。Jetson AGX Orin 依附更年夜的内存及更强的算力，能自在应答更繁杂、更密集的事情负载，如处置惩罚更高分辩率的画面、同时接入多路摄像头或者者并行运行多个智能体。

要切身体验这一能力，可直接从Jetson AI Lab启动Live VLM WebUI。它能经由过程 WebRTC 将电脑的及时摄像头画面传输给 AI 模子，让模子即时阐发并描写，相称在搭建了一个沙盒。

Live VLM WebUI 兼容 Ollama、vLLM，以和险些所有撑持 OpenAI 办事器和谈的推理引擎。

若想经由过程 Ollama 启动 VLM WebUI，可按如下步调操作：

# Install ollama (skip if already installed)curl -fsSL https://ollama.com/install.sh | sh# Pull a small VLM-compatible modelollama pull ge妹妹a3:4b # Clone and start Live VLM WebUIgit clone https://github.com/nvidia-ai-iot/live-vlm-webui.gitcd live-vlm-webui./scripts/start_container.sh

体验该功效请查阅：https://localhost:8090

从此最先，构建智能安防体系、野活泼物不雅察助手或者视觉辅助运用。

图 2. 于 NVIDIA Jetson 上经由过程 Live VLM WebUI 实现交互式视觉语言模子推理

可以运行哪些视觉语言模子？

Jetson Orin Nano 8GB：合适运行参数目最高约 4B 的视觉语言模子，例如 Qwen2.5-VL-3B、VILA 1.5–3B 或者 Ge妹妹a-3/4B。

Jetson AGX Orin 64GB：合适运行参数目级约为 4B 至20B 的中型视觉语言模子，例如 LLaVA-13B、Qwen2.5-VL-7B、Phi-3.5-Vision。

Jetson AGX Thor 128GB：专为超年夜范围模子设计，可撑持约 20B 至 120B 参数的单个模子或者多个模子并行运行，例如 Llama 3.2 Vision 70B 或者120B量级的模子。

想摸索更深层的运用？视频搜刮及总结（VSS）能力可助力构建智能化视觉档案体系。这象征着可以直接按照视频中的内容举行检索而不只局限在搜刮文件名，还有能为永劫间录相主动天生内容择要。对于但愿高效治理并深度挖掘视觉数据价值的开发者而言，这恰是视觉语言模子理念的完善延长。

教程二：基在基础模子的呆板人技能

呆板人范畴正履历一场底子性的架构厘革。数十年来，呆板人节制重要依靠在僵化的硬编码逻辑与割裂的感知流程：先检测物体、再计划路径、末了履行动作。每一一种可能的边沿环境都需要人工重复调试及显式编程，使年夜范围主动化难以实现。

如今，呆板人范畴正朝着端到端模拟进修的标的目的演进：再也不需要编写显式法则，而是借助如NVIDIA Isaac GR00T N1如许的基础模子，直接从演示中进修节制计谋。这种视觉语言动作模子从底子上转变了呆板人节制的输入输出瓜葛。于此架构下，模子吸收来自呆板人摄像头的及时视觉数据流，联合天然语言指令（例如：“打开抽屉”），处置惩罚这些多模态上下文信息，直接猜测下一刻所需的枢纽关头位置或者机电转速。

然而，练习这些模子面对着一个庞大挑战：数据瓶颈。与语言模子可使用海量互联网文本举行练习差别，呆板人需要的是物理交互数据，这种数据的收罗成本昂扬且获取速率慢。解决这一难题的要害于在仿真。借助NVIDIA Isaac Sim，不仅可以于物理切确的虚拟情况中天生合成练习数据并验证节制计谋，还有可以举行硬件于环测试：让 Jetson 毗连到由NVIDIA RTX GPU 驱动的仿真器，并运行节制计谋。如许一来，于投资实体硬件或者举行实地部署以前，你就能验证从感知到履行的完备端到端体系。

于仿真中完成验证后，整个事情流可以无缝迁徙到真实世界。您可以将优化后的计谋直接部署到边沿装备，并借助 TensorRT 等优化技能，让原本繁杂的 Transformer 也能以及时节制轮回所需的低延迟（低在 30 毫秒）运行。不管是构建简朴的机械臂，还有是摸索更繁杂的人形呆板人，这类“于仿真中进修动作，再部署到物理边沿”的要领，如今已经成为现代呆板人开发的尺度流程。

此刻便可测验考试这些开发流程。GitHub 上的 Isaac Lab 评估使命库内置了螺母分拣、排气管分类等工业级操作基准测试场景。开发者可先于仿真情况中验证节制计谋，再部署到实体硬件。经由过程验证后，GR00T Jetson 部署指南将指导开发者将计谋转换为 TensorRT 优化格局，确保其于 Jetson 平台的高效运行。针对于需于自界说使命中后练习或者微调 GR00T 模子的开发者，LeRobot 集成方案整合了社区数据集与模拟进修东西，买通从数据收罗到现实部署的全链路。

插手呆板人开发者社区：呆板人开发者社区正蓬勃成长，成为技能摸索的热土。从开源呆板人设计到同享进修资源，这条立异之路始终布满偕行者。各种技能论坛、GitHub 开源项目以和社区结果展示，将连续为你提供灵感与实践引导。接待插手 LeRobot Discord 社区，与全世界呆板人开发者沟通交流，配合塑造呆板人的将来。

构建实体呆板人需投入年夜量精神于机械设计、组装还有有与现有平台集成。但真正驱念头器人的“智能层”又该怎样实现？这恰是 Jetson 的价值地点：及时、强盛且可当即部署。

哪款Jetson最合适你？

Jetson Orin Nano Super（8GB）合适刚接触当地 AI，想运行较小的 LLM 或者 VLM 模子或者举行初期呆板人和边沿原型开发的开发者。比拟在思量最年夜模子容量，它体积小巧、价格亲平易近、上手翰单，更合适呆板人项目及嵌入式运用的开发喜好者。

Jetson AGX Orin（64GB）合适但愿打造功效扎实的当地 AI 助手、测验考试智能体式事情流或者构建能现实部署的小我私家运用的喜好者或者自力开发者。64GB 内存让你无需为内存不足而懊恼，可直接于一台装备上轻松组合视觉、语言及语音模子（ASR 及 TTS）。

Jetson AGX Thor（128GB）合适对于需要处置惩罚超年夜范围模子、同时运行多个模子或者者于边沿侧对于及时性有严苛要求的开发者。

操作指南

预备好最先摸索了吗？按如下步调快速入门：

选择合适你的Jetson：按照你的方针及预算，遴选合适你需求的开发者套件。

刷写体系与配置：快速入门指南将让设置历程变患上简朴直接，你可以于一个小时内完成预备事情并最先运行。

Jetson Orin Nano 开发者套件——快速入门指南

Jetson AGX Orin 开发者套件——快速入门指南

Jetson AGX Thor 开发者套件——快速入门指南

摸索生态资源：

Jetson AI Lab：拜候包罗周全教程与预建容器指引的资源库（Open WebUI、Live VLM WebUI等），测试你的模子。

社区论坛：与其他开发者交流、分享项目并获取帮忙

动手构建：选择一个项目，深切进修 GitHub 上的教程项目，看看能做到甚么，并继承深切摸索。

NVIDIA Jetson 系列产物为开发者提供了设计、构建及部署下一代智能呆板所需的全套东西。

关在作者

Chitoku Yato 是节能、紧凑及可扩大的 NVIDIA Jetson Edge AI 平台的技能产物营销司理，卖力确保平台上的最好开发职员体验。他还有与布满活气的 NVIDIA 开发职员社区紧密亲密互助，帮忙宣传于 Jetson 上利用预练习的 AI 模子、开发职员 SDK 及对于云原生技能的撑持，以帮忙客户构建、部署及治理基在 AI 的自立呆板。这包括关在 NVIDIA JetBot 及 JetRacers 的教程以和关在 NVIDIA 深度进修学院的教诲内容，以传授及进修 AI 及呆板人技能。他于东京的索尼公司最先了他的职业生活生计，于那里他从事 GPS 汽车导航体系开发、Android 平板电脑软件开发及 PlayStation 外围装备的产物计划。 Chitoku 拥有加州年夜学圣巴巴拉分校的计较机工程学士学位。

Khalil BenKhared 是 NVIDIA Jetson 团队的技能营销工程师。Khalil 拥有创立及扩大 AI 及呆板人开发解决方案的配景，他喜欢从底子上简化边沿 AI，闪开发者及工程师更易利用。

原文标题：基在 NVIDIA Jetson 的边沿 AI 入门指南：面向呆板人的年夜语言模子、视觉语言模子及基础模子

文章来由：【微旌旗灯号：NVIDIA-Enterprise，微信公家号：NVIDIA英伟达企业解决方案】接待添加存眷！文章转载请注明来由。

英飞凌为NVIDIA Jetson边沿AI平台提供AIROC™ Wi-Fi/蓝牙®解决方案 公司（FSE代码：IFX / OTCQX代码：IFNNY）近日公布，为NVIDIA Jetson边沿AI平台提供AIROC™ Wi-Fi及蓝牙®毗连解决方案。     发表在 06-10 16:08 •3543次浏览 怎样于NVIDIA Jetson AGX Thor上部署1200亿参数年夜模子 上一期先容了怎样于 NVIDIA Jetson AGX Thor 上利用 Docker 部署 vLLM 推理办事，以和利用 Chatbox 作为前端挪用 vLLM 运行的 发表在 12-26 17:06 •3688次浏览 BPI-AIM7 RK3588 AI与 Nvidia Jetson Nano 生态体系兼容的低功耗 AI 模块 。它是开源硬件，咱们已经于线发布设计文档，包括道理图及接口界说。其异构计较架构兼容 NVIDIA Jetson Nano 接口尺度，很是合适边沿计较、AI 推理、VR/AR、智能 NVR 发表在 10-11 09:08 基在JetsoN Nano开发套件的开源智能车项目 JetBot 项目是NVIDIA（英伟达）基在JetsoN Nano开发套件而设计的一款开源智能车项目， 为开端上手Jetson Nano，并巴望做出本身的第一个 发表在 11-04 07:40 NVIDIA Jetson的相干资料分享 Jetson概述爆炸式增加的AI模子的繁杂性专为自立呆板开发职员设计的AI计较板加速AI处置惩罚的SDK“JetPack”概述 发表在 11-09 08:26 NVIDIA Jetson先容 首发极术社区如对于Arm相干技能感兴致，接待私信 aijishu20插手技能微信群。分享内容NVIDIA Jetson是嵌入式计较平台，具备低功耗、高机能及小体积等特色，可加快各行业的AI 发表在 12-14 08:05 怎样使用运行于NVIDIA的EGX平台上的NVIDIA Metropolis运用 优化对于在无人零售、简化库存治理、聪明都会的交通工程、工场车间的光学检测、医疗举措措施的患者照顾护士等至关主要。 于本系列文章中，咱们将摸索实际案例中怎样使用运行于NVIDIA的EGX平台上的NVIDI 发表在 08-13 10:45 •2221次浏览 怎样于NVIDIA Jetson平台创立多摄像头管道 于本文中，我将展示怎样于 NVIDIA Jetson 平台上高效地实现这些常见使命。详细来讲，我先容了 jetmulticam ，一个易在利用的 Python 软件包，用在创立多摄 发表在 04-28 09:15 •3474次浏览 NVIDIA Jetson赋能智骋致想智惠农业平台 NVIDIA Jetson 赋能智骋致想智惠农业平台，助力 AI 于农业范畴的不停成长。 发表在 06-27 14:27 •1591次浏览 利用NVIDIA Jetson边沿AI平台及时阐发患者数据 台北荣平易近总病院正于利用 NVIDIA Jetson 边沿 AI 平台阐发透析历程中的数据流。 发表在 07-19 10:59 •2436次浏览 NVIDIA 扩大呆板人平台，迎接天生式 AI 的突起 基在 NVIDIA Jetson 平台举行开发的 1 万多家公司此刻可以使用全新的天生式 AI、API 及微办事来加速推举行业数字化     强盛的天生式 发表在 10-19 17:16 •842次浏览 NVIDIA 扩大呆板人平台，迎接天生式 AI 的突起 基在 NVIDIA Jetson 平台举行开发的 1 万多家公司此刻可以使用全新的天生式 AI、API 及微办事来加速推举行业数字化 强盛的天生式 发表在 10-20 02:05 •1048次浏览 使用 NVIDIA Jetson 实现天生式 AI 的无穷可能性。差别在其他嵌入式平台，Jetson 可以或许于当地运行年夜语言模子（LLM）、视觉 Transformer 及 stable diffusion，包括于 发表在 11-07 21:25 •2149次浏览 NVIDIA再脱手！加快开发边沿AI运用，迎接天生式AI新纪元 NVIDIA 近日公布，对于合用在边沿 AI 及呆板人的 NVIDIA Jetson 平台上的两个框架举行年夜范围扩大。 发表在 11-23 17:31 •1659次浏览 NVIDIA Jetson 的嵌入式体系AI运用 于这个平台上可使用多个差别的芯片 ，案例的主角是AIMobile AIM Edge Ncox，一款基在NVIDIA Jetson Orin NX的小型被动冷却嵌入式体系。该体系具备6-8个Arm内核及 发表在 12-11 17:37 •1221次浏览-YABO