Skip to content
Luke Lab
AIoT · 边缘 AI · 大模型部署与微调

打造真正落地的 AIoT 与边缘 AI 产品

把 AI 能力做进真实设备,让它在真实家庭里稳定跑起来——不是 demo。

8+
多年
Java·AIoT
主栈
0 → 1
交付
Tech Lead
角色
当前

智能家居 AI 主机、Jetson 边缘视觉、私有化大模型部署与微调、网关与中控屏。

01关于

从 Java 分布式系统,到 智能家居 AIoT

Luke 是一名专注工程落地的技术负责人,擅长把 AI 能力做进真实设备——从智能家居 AIoT、边缘推理,到私有化大模型部署,再到 Java 后端与分布式系统。

当前工作横跨智能家居 AI 主机(Home Assistant + HomeClaw)、Jetson 边缘视觉与声音事件识别、跨服务器与设备的私有化大模型部署与微调(vLLM、RKLLM)、PLC + WiFi + BLE 5.2 三模中枢网关、Android 中控屏,以及 Hommor 主机产品线。

判断一件事做没做好,标准只有一个:能不能在用户家里长期稳定地跑起来。

关键能力7
多年 Java / Spring Cloud / 分布式系统研发经验
具备技术负责人经验
熟悉从 0 到 1 搭建系统
智能家居 SaaS / PaaS、网关设备、中控屏、设备接入
本地 AI 主机、边缘视觉识别、私有化大模型部署与微调
Docker、Linux、Nginx、vLLM、Ollama、RKLLM、ESP-IDF、Jetson、RK3576 工程实践经验
复杂业务系统设计、上线交付、稳定性建设经验
02当前关注

当前工作,分布在 六个方向

六个相邻方向。组合起来就是一件事:让 AI 跑在家里的设备上。

  1. 智能家居 AI

    01 / 06

    驱动家庭的本地 AI 主机。

    把本地 AI 主机、摄像头视频流、语音交互与设备联动结合起来,让家庭场景自动化更加智能。

    Local InferenceCamera StreamVoiceAutomation
  2. 边缘视觉代理

    02 / 06

    设备端视觉与声音事件识别。

    在 Jetson 等边缘设备上做视觉识别(人、活动、手势、宠物、跌倒)与声音事件识别(哭声、门铃、敲门、烟雾报警器等)——全部在设备本地完成,低延迟,直接接入智能家居流程。

    Jetson Orin NanoMiMo-VLAudio EventsCamera StreamScene Trigger
  3. 私有化大模型:部署与微调

    03 / 06

    GPU 与 NPU 上的 OpenAI 兼容大模型服务,含微调。

    从服务器到设备的大模型私有化实践——DGX Spark 与 4×RTX 4090 上跑 vLLM,RK3576 NPU 上 RKLLM 跑 Qwen3-0.6B。统一 OpenAI 兼容 API。面向智能家居场景做 Qwen 系列微调。

    vLLMRKLLMQwen3Gemma 4RK3576 NPUOpenAI-compatible
  4. AI 语音与知识库

    04 / 06

    语音进、知识出、设备响应。

    探索 AI 语音交互、企业知识库、Dify、Qwen 系列模型,以及本地化模型推理与微调在智能家居场景中的应用。

    VoiceRAGDifyQwenFine-tuning
  5. 网关与中控屏

    05 / 06

    AIoT 平台的设备侧工程体系。

    围绕 PLC + WiFi + BLE 5.2 三模中枢网关、ZigBee 网关、Android 中控屏构建设备侧——本地局域网控制、OTA、日志上传,按设备群运营,而不是一次性单板。

    PLCWiFi+BLE 5.2ZigBeeAndroid PanelOTALocal Control
  6. AI 编程工具

    06 / 06

    面向私网的 AI 原生开发工具。

    关注 AI 编程工具、企业私有化研发环境、内网代码场景与工程效率提升。

    AI CodingIDEPrivate ModelEnterprise
03精选项目

项目横跨 设备、边缘、模型与平台

8 个项目,跨家用 AI 主机、边缘设备、私有化大模型,到分布式后端与金融业务系统。

01

智能家居 AI 主机

把整个家放进微信和飞书的本地 AI 主机——家人不再多装一个 App。

智能家居不该让家人再装一个 App。这台本地 AI 主机把家里的设备并到一处——用 Home Assistant 做生态,自研 HomeClaw 桥接本地中枢网关,家人在已经天天用的微信和飞书里直接控家。

  • 自研 HomeClaw(基于 OpenClaw),桥接 Home Assistant 与本地中枢网关
  • 控制入口:微信 + 飞书(家人已经在用的工具)
  • 本地服务栈:DPanel、Frpc,Docker 统一编排
Home AssistantHomeClawOpenClawDPanelFrpcWeChatFeishuDocker
02

Jetson 视觉代理

Jetson Orin Nano 上的本地视觉与声音事件识别。

一台 Jetson Orin Nano NX Super 8G 在家里同时担起"眼"和"耳"——视频和音频不出设备,一张卡同时跑视觉理解与声音事件分类,低延迟。

  • 视觉:MiMo-VL / Miloco 7B;声音:事件分类
  • 实时预览、5 分钟分片录像、按时间点回放
  • 视觉事件:人、活动、手势、宠物、跌倒
  • 声音事件:哭声、咳嗽、鼾声、门铃、敲门、宠物叫、烟雾报警器
Jetson Orin NanoMiMo-VLMiloco 7BMultimodalAudio Events
03

私有化大模型栈

从 4×RTX 4090 到 RK3576 NPU,同一套大模型栈。

同一套大模型栈,三种完全不同的硬件——服务器、桌面级 AI 超算、边缘 NPU。每种硬件跑最合适的模型,对外是统一的 OpenAI 兼容 API。

  • 服务器:4×RTX 4090 + 张量并行——Gemma 4 31B 与 Qwen3.5 27B 显存互斥切换
  • 桌面 AI 超算:DGX Spark(ARM64 / GB10 / CUDA 13)上 vLLM 跑 Gemma 4 31B
  • 边缘 NPU:RK3576 上 RKLLM 跑 Qwen3-0.6B,端侧意图解析
  • 统一 OpenAI Responses + Conversations API,API Key 鉴权
vLLMRKLLMGemma 4Qwen3DGX SparkRTX 4090RK3576 NPUOpenAI-compatible
04

Koder

面向企业内网研发的中文 AI 编程 IDE。

面向企业内网研发场景的中文 AI 编程 IDE——以 Void AI 编辑器为内核,从源码层面把 AI 面板、设置页、欢迎页改成中文,让中文是"原生体验",不是事后翻译。

  • 内核:Void AI 编辑器(VS Code 1.99.x),完整品牌化分支
  • 源码级中文化:Chat → 对话、Gather → 收集、Agent → 智能体
  • 内置 MS-CEINTL 中文语言包,首启 zh-cn 直接进入中文
Void editorVS Code 1.99.xElectronmacOS ARM64DMGi18n zh-CNPrivate ModelEnterprise
05

AIoT 网关与中控屏

智能家居 SaaS / PaaS 的设备侧——从模组到网关再到中控屏。

把一个智能家居 SaaS / PaaS 的设备侧端到端工程化——从模组、网关、中控屏到设备侧协议与远程运维,运行在覆盖 RK3566 到 Jetson Orin Nano 与鲲鹏 920 的 Hommor 主机产品线上。

  • 网关:三模中枢(PLC + WiFi + BLE 5.2,SSD202D + ESP32-C6,IEEE 1901.1,最多 500 节点);ZigBee / PLC / WiFi+BLE 设备群
  • 终端:Android 入墙中控屏 + ESP32-S3 语音盒"小白"(自定义唤醒词 + MultiNet7 中文模型)
  • 通讯:UDP 自发现 + 局域网 MQTT,与云端 MQTT 双通道并行
  • 运维:SN 哈希子域名内网穿透、OTA 增量升级、子设备批量升级
PLCWiFi+BLE 5.2ZigBeeAndroid PanelESP32RK3576Jetson Orin NanoMQTTOTA
06

分布式后端基础设施

其他团队赖以构建的平台与基础设施。

长期负责基础服务与基础平台建设:基础服务(API 网关、用户中心、权限、支付、调度)与基础平台(MySQL、Redis、Nacos、RocketMQ、Elasticsearch、Kibana、SkyWalking、Prometheus、Grafana、Jenkins、GitLab、YApi、OpenLDAP、OpenVPN、JumpServer),并制定后端开发规范。

  • Java 分布式系统
  • 微服务治理
  • 基础中间件搭建与维护
  • 监控告警、可观测体系
  • CI / CD 流水线(Jenkins、GitLab)
  • 后端开发规范制定
JavaSpring CloudRedisNacosRocketMQMySQLElasticsearchSkyWalkingPrometheusJenkins
07

ABS 资产证券化系统

面向资产证券化的底层平台——从基础资产到发行与存续期。

在滴滴搭建的资产证券化系统,面向集团及生态合作伙伴——把自有资产做归集与风险隔离,依托基础资产未来现金流做信用增强,在公开或非公开市场发行有价证券,降低融资成本。覆盖 ABS 全链路:基础资产数据管理、产品设计、发行与存续期管理。

  • 技术负责人:0 → 1 上线初版 ABS 系统
  • 发行资产支持专项计划(ABS)
  • 基础资产接入与数据管理
  • 风险隔离、信用增强、现金流建模
  • 产品存续期管理
ABSSecuritizationFinTechJavaTech Lead
08

信贷支付结算系统

信贷、支付与结算的资金链路系统,要的是稳。

在趣店、大树天空交付的信贷、支付与结算系统:覆盖交易、保险、会员、贷前风控、贷后业务与结算出款。完成京东数科、京东金融、新网银行、泰康保险、金美信等多家资方的端到端对接——授信、合同签署、账单同步与还款。

  • 交易:借款 / 还款 / 扣款 / 退款 / 收单
  • 保险:保费试算、承保、付款确认、退保
  • 贷前风控:资方授信、借贷合同签署对接
  • 贷后:外部资金方接入、SFTP 推送、账单同步、还款
  • 结算:支付宝与银行卡出款、退货运费险扣除
  • 会员:账户、余额提现、奖励发放
LendingPaymentSettlementRisk ControlInsuranceFinTechJava
04工作经历

十年都在构建 撑起业务的系统

从金融业务系统,到平台基础设施,再到今天的 AIoT 与 AI 工程。

  1. 2025.05 — Present硬件 & 模型技术负责人

    金云智联

    负责智能家居 AI 主机、边缘推理、视频识别、私有化大模型部署与微调、智能家居网关、中控屏、AI 语音与设备联动等方向的技术建设。

  2. 2021.11 — 2025.04研发专家

    金山云

    负责基础服务、基础平台、AIoT 平台相关建设,覆盖 API 网关、用户中心、权限系统、支付系统、任务调度、基础中间件、监控告警、持续集成与智能家居平台。

  3. 2020.05 — 2021.11高级开发工程师

    滴滴出行

    负责资产证券化系统和同业流量平台建设,参与金融业务系统从 0 到 1 搭建、系统设计、核心功能开发与上线交付。

  4. 2019.05 — 2020.05高级开发工程师

    大树天空

    参与业务系统和贷后系统建设,负责外部资金方接口接入、文件解析、SFTP 推送、账单同步与还款等业务能力。

  5. 2016.11 — 2019.05高级开发工程师

    趣店集团

    参与交易、保险、会员、贷前风控、结算等系统建设,负责支付、扣款、保单、授信、合同、结算出款等核心业务开发。

05技术栈

技术栈

AI 工程与边缘设备是当下重心;后端、数据、基础设施、监控运维是多年沉淀。

12

AI 工程

vLLMOllamaRKLLMLLMVLMRAGDifyQwen3Gemma 4MiMo-VLsherpa-onnxOpenAI-compatible API
12

边缘与设备

Jetson Orin NanoRK3576RK3566 / RK3568ESP32-S3ESP32-C6SigmaStar SSD202DZigBeePLC (IEEE 1901.1)WiFi+BLE 5.2BLE MeshOTALocal Control
12

后端

JavaJVMSpringSpring MVCSpring BootSpring CloudSpring Cloud AlibabaMyBatisDubboMavenGradleGit
9

数据与中间件

MySQLRedisNacosRocketMQElasticsearchKibanaHivePhoenixCanal
9

基础设施

DockerNginxLinuxJenkinsGitLabYApiOpenLDAPOpenVPNJumpServer
7

监控运维

PrometheusAlertmanagerGrafanaLokiSkyWalkingELKLogstash
06联系

一起做点能落地的事

优先邮件联系。无论是项目合作、AIoT 协作还是单纯的技术交流,都欢迎来信。