54 lines
6.0 KiB
Markdown
54 lines
6.0 KiB
Markdown
# Harmony Connector 投屏开发记录
|
||
|
||
2026-09-10：0.5.1 针对用户报告的 `无法读写 Mac 文件：Connection refused (os error 61)` 修改启动流程。代码可确认该提示来自视频 TCP 连接使用了通用文件 I/O 错误转换；此前没有确认设备代理/Unix socket 就绪，且只重试同一端口。现在增加官方代理候选、就绪检查、仅重建自身转发、启动日志和首帧状态。具体设备上的代理兼容性与连接恢复效果仍等待用户反馈；本轮只构建打包，未运行测试或真机验证。
|
||
|
||
|
||
2026-09-10：0.5.0 改为独立 AppKit 窗口、官方 Unix H.264 视频流和默认实时触控。按用户要求，本轮只完成编码与构建，不运行测试、真机跑分或远程源安装验证。60 fps 是编码配置目标，不能作为已达到的性能结果。官方接口依据见[视频性能调研](research/harmony-screen-performance.md)。
|
||
|
||
以下为旧版本历史记录。
|
||
|
||
运行路径为：已授权的 HDC USB 连接 → 官方 Hypium 设备代理 → 持续 JPEG 推送 → 插件显示。用户无需开发者账号、AppGallery Connect、HAP 安装、编译或签名。代理由插件自动部署到本次会话的临时文件，停止时删除。
|
||
|
||
## 当前状态
|
||
|
||
2026-09-10：0.4.0 改为 HDC 持续 JPEG 推送，修复投屏残留会话误报占用及重连失败。0.3.2 的逐张截图链路为 696、803、802 ms，约 1.3 fps；新版本的动态帧率仍须独立测量。
|
||
|
||
官方 `xdevice-devicetest` 6.1.0.210 的 `uitest_agent_v1.2.2.so` 已在 HUAWEI Pura 70 Ultra 的商业系统上成功加载。独立探针收到真实 JPEG、屏幕尺寸 1260 × 2844，并成功调用尺寸、旋转和唤醒接口。设备端文件为 600245 字节，未改动签名原件。没有安装 HAP，也没有账号或系统共享确认步骤。
|
||
|
||
生产后端已在同一台真机上连续通过三轮“开始 → 接收并解码 → 停止 → 再次开始”，全程未拔 USB，每轮均确认 `pidof uitest` 为空、`fport ls` 无残留。每轮收到 2–3 张独立画面，也验证了静止画面返回 unchanged 的行为。独立探针另收到可查看的实际手机内容；这项连通/重连检查没有发送输入，不能作为动态帧率、跟手程度或端到端延迟达标的证据。
|
||
|
||
本次错误来自插件自身的残留 `trove-screen-*.so` 会话。手机的普通 `kill` 返回 `Permission denied`，旧代码忽略失败并把任意 UITest 进程视作其他工具。官方 xdevice 的清理使用 `kill -9`；当前手机实测接受该命令。修复会检查完整命令行身份，只清理本插件代理并确认进程退出；显式停止时清理失败会返回错误。其他工具的代理和未经本机记录的活动转发保持不动。主机按设备加文件锁，并记录自己的转发供异常退出后恢复。
|
||
|
||
手机正常画面实测为 640 × 1422，逻辑半尺寸为 630 × 1422，右侧含对齐填充。接收器兼容 16 像素边界的尾部填充，保留逻辑视口和 JPEG 存储尺寸；UI 直接裁去填充，不重新编码 JPEG，输入仍映射到 1260 × 2844。旋转或无法匹配的尺寸仍会关闭控制。
|
||
|
||
完整自动化检查通过 93 项：54 项原生、33 项 UI/格式/坐标、6 项 USB 桥接与底座协议检查。浏览器另外确认模拟画面的尾部彩色填充被裁去，放大时可见区域保持居中；这些界面测试不等同于真机性能测试。
|
||
|
||
之前的 HAP 实验源码和签名流程已移除。本机签名材料不属于插件或发行包。原方案的研究过程保留在[历史记录](research/harmony-realtime-stream.md)，当前方案及来源见[HDC 持续投屏调研](research/harmony-hdc-only-screen.md)。
|
||
|
||
## 构建和验证
|
||
|
||
```sh
|
||
node curios/harmony-connector/build.mjs
|
||
node tools/test-harmony.mjs
|
||
|
||
# 手机开启 USB 调试并授权 Mac；多设备时在末尾加目标 ID。
|
||
curios/harmony-connector/backend/harmony-connector --check-screen /absolute/path/to/hdc
|
||
|
||
# 连续 20 秒，通过与 UI 相同的后端接口接收并实际解码 JPEG。
|
||
curios/harmony-connector/backend/harmony-connector --check-screen-stream /absolute/path/to/hdc
|
||
```
|
||
|
||
动态测量时保持手机解锁，并连续滑动桌面或滚动页面。`receivedFps` 与 `mbps` 是最近一秒收到的帧数和码率；`consumerFps` 是此验证程序在完整观察期解码的不同帧数除以时长，不是 WebView 呈现帧率。`frameAgeMs` 是收到画面后经过的时间，不是端到端延迟。静止画面不重复计帧。
|
||
|
||
上述命令默认不保存画面、不启用控制，也不发送输入。基础连通命令的第三个参数可以是用户指定的保存目录。真实交互仍需在插件中检验：启用控制、点击、拖动、返回/主页、文字输入、停止后重新开始，以及拔线后旧画面清空。
|
||
|
||
## 会话与协议
|
||
|
||
- 插件只保留最新一张 JPEG，不积压视频队列。UI 用上一帧序号等待变化；静止时返回状态，不重复发送图片。
|
||
- 图像与控制使用两个独立 socket，共用本会话的 HDC 转发。按键和手势通过持久 RPC 发送，文字使用已验证的 `uitest uiInput text`。
|
||
- 代理回包包括 JSON 行与 JPEG；解析 JPEG 段长度，避免把 EXIF 数据中的字节误认作图像结尾。单帧上限 2 MiB，JSON 上限 64 KiB。
|
||
- 静止画面不视为断线；独立控制连接查询尺寸检查存活。UI 停止请求超过 15 秒会结束会话。屏幕几何变化会关闭输入控制。
|
||
- 每次部署使用唯一文件名，以完整命令行重新确认进程身份后结束代理，并验证退出。设备锁与转发记录支持异常退出恢复；其他工具的代理和活动转发会阻止启动。停止时删除自己的临时文件和转发。
|
||
|
||
运行 HDC 不需要完整 SDK：本机独立验证了 `hdc` 与同目录 `libusb_shared.dylib` 的版本命令，总计约 6.4 MiB。完整工具包用于开发构建，不应成为普通投屏用户的依赖。本次尚未新增精简 HDC 发行包；插件继续使用已配置或自动发现的官方工具。
|