制造业产线存储解决方案
一、需求背景
随着技术的发展，自动化工业生产制造产品在线检测视觉检测系统已经成为行业内的主流技术，它通过自动化在线检测设备，能够有效提高生产效率，提升产品质量，降低生产成本，自动检测产品的表面缺陷，尺寸瑕疵等，有效地保证了产品的质量，同时也提高了流水线的生产效率。
下图为工厂自动化产线质检数据产生过程：
二、现状分析
工厂自动化产线质检的数据特点及带来的挑战如下：
针对机台数据存储，当前普遍采用以下两种解决方案：
l 本地机台存储
l 集中式NAS存储
两种解决方案的特性如下：
（1）机台本地存储选择：
该方案数据存储的特点如下：
▶ 产线数据分散，每条产线数据存储在本地，甚至一条产线多个存储位置，无法满足数据统一管理、查询，产品质量追溯需要工作人员到机台进行操作，人力消耗大，效率低（管理性差）。
▶ 终端采用Windows系统，硬盘故障导致数据丢失，甚至可导致业务中断的可能性（可靠性）。
▶ 存储空间不足，扩容受限，只能满足短时间保存数据的需求（扩展性）。
▶ 质量追溯数据查询方式单一，机械式人工查找，只能通过文件名或基于目录层级检索数据（管理性）。
（2）集中NAS存储方案选择：
该方案数据存储的特点如下：
▶ 集中式存储解决了数据孤岛问题，但是随着数据增多会出现多套存储，存储之间存在兼容性问题，同时网络连通性也会出现可靠性风险。（兼容性、可靠性）。
▶ 随着数据量的迅速增大，NAS存储的读写性能不能满足 海量小文件需求，会影响产线业务（性能）。
▶ 成本与性能无法兼得，中低端NAS扩容麻烦，高端NAS 建设成本高（成本）。
▶ 质量追溯数据查询方式单一，机械式人工查找，只能通过文件名或基于目录层级检索数据（管理性）。
三、用户痛点与诉求
项目 | 痛点 | 诉求 |
数据生成： 生产线操作人员 | ① 有时候存储性能不好，成为生产数据瓶颈 ② 数据存储扩容无感，不要经常停机 | ① 机台图片数据传输，不能影响现有网络上的生产数据 ② 对机台实现零侵入安装，机台数据抓取对生产无影响 |
数据存储： 数据中心存储运维人员 | ① NAS存储多套系统，兼容性问题 ② 成本较高，运维复杂 ③ 性能不能满足需求，生产线 | ① 机台产生的海量小文件写入，需要高性能、稳 定的存储 ② 存储容量和性能可无限按需自由拓展，同时兼 顾成本 ③ 能够利旧现有的存储系统，实现统一管理 ④ 更多数据智能处理能力，提升存储系统性价比 |
数据检索： 质量管理人员 | ① 数据回溯，查找复杂，人工效率低 、 ② 对于重复查找，重复操作，人工处理，容易出错 | ① 能够按用户需求定义标签，实现多维度快速检索 ② 面对多厂区，需要能够实现统一检索 ③ 满足海量小文件检索性能及在线预览/标注 |
四、解决方案设计
针对以上用户需求分析，爱瑞古德提供分布式存储一体机统解决方案，该方案从机台产线数据采集，监控管理，数据自动分层，数据自定义标签和批注几方面去解决用户痛点，满足用户诉求。
（1） 数据采集设计
▶ 机台中安装代理，自动化实现数据采集，不会影响业务。
▶ 协助进行S3对象存储改造，产生的数据直接从机台写入对象存储。
▶ Agent占用资源少，端口可以设计，不会占用业务端口。
▶ 采集图片、文档数据进行压缩、格式转换。
（2） 监控设计
▶ 全局告警设计，实时监控存储健康情况。
▶ 性能监控信息，第一时间发现存储性能关键瓶颈点。
▶ 空间不足告警、传输异常告警、存储离线告警、磁盘故障告警、任务进度跟踪、报表导出等。
（3） 数据自动分层
▶ 通过生命周期管理策略数据自动按照时间完成数据从热池到温、冷池的自动转移。
▶ 在标准的生命周期功能上，额外研发了基于对象标签的生命周期管理策略，针对拥有特定标签的对象制定单独的策略进行精确控制。
▶ 支持将公有云（OSS/OBS）存储桶及蓝光存储虚拟为GLACIER（云归档）存储池，通过生命周期转移自动 分层数据到公有云及蓝光存储。
▶ 支持针对整个桶设置生命周期，也支持对桶中部分子目录或携带特定前缀的对象设置生命周期。
▶ 能够限定生命周期执行的时间段，在业务空闲时间执行，控制生命周期执行过程中对业务的影响。
（4） 自定义标签/批注
▶ 灵活的标签管理方式：对象文件的标签可以在上传对象文件的时候同步上传，也可以等文件上传成功后再单独打标签或者删除修改标签。
▶ 百毫秒内的检索时延：标签上传或者修改成功后，百毫秒内即可同步至检索集群，保证准实时检索需求。
▶ 丰富灵活的标签内容：标签长度及标签最大数量默认分别为1024字符数及1024个，可以根据客户需求灵活调整，标签内容完全为K/V形式自定义，不像结构化DB受字段限制约束,比如：例如：机台号、生产 日期、产品Lot、Set号等。
