作者 | Yared Gudeta
从单体架构到微服务架构
单体架构的挑战:
更新缓慢:对应用的某个部分进行微小修改时,需要重新部署整个系统。
扩展问题:如果系统的某个区域负载过重,整个系统都必须扩展。
单点故障:如果一个组件崩溃,整个系统可能都会受到影响。
微服务的优势:
更新更快:只需更新或部署某个微服务,不涉及其他部分。
可扩展性:根据需求扩展各个服务。
故障隔离:即使一个服务崩溃,其他服务仍然可以继续运行。
开销更高:管理多个服务需要更多的协调处理和基础设施。
时延:服务之间的通信可能会降低系统响应速度。
一致性问题:保持跨服务数据同步变得棘手。
AI领域正在朝着相同方向发展
复合AI系统为何如此有效:
泛与专结合:大型基础模型提供广泛的见解,而专用模型则处理细分任务,如医疗诊断或实时网络安全威胁检测。
模块化:需要新模型?只需替换模型,而不必重新训练整个系统。
优化:模型和工具可以针对任务的特定部分进行微调,使整个系统更高效、更准确。
复合AI系统如何运作
Mosaic AI:复合AI系统背后的力量
Databricks Mosaic AI的亮点:
无缝集成:能够安全且轻松地连接内部数据源和外部工具,为模型提供丰富的上下文数据进行处理;
可扩展性:通过Mosaic AI的模型服务,单个组件可以根据需求扩展;
定制化:每个组件可以在自定义数据上进行微调,以确保更准确的结果。
为维护系统构建复合AI系统
步骤分解:
手册被拆分为小板块,并通过Databricks的嵌入模型转换为向量嵌入。这些嵌入存储在向量搜索索引中,以便快速检索。
系统收集维护日志、服务请求、库存数据以及来自工厂设备的物联网传感器读数。这些数据经过清洗和汇总后,存储在Medallion架构中,丰富的数据则会存储在图数据库中,其中存储了机器、零件、缺陷和错误代码等之间的关系。
通过DsPy框架,AI协调多个组件:
用户的问题(如“如何修复错误DF-3466?”)被转换为向量嵌入,并在向量数据库中的手册数据中进行搜索。
同时,该问题通过微调的text-to-cypher Llama模型(https://huggingface.co/collections/tomasonjo/llama3-text2cypher-demo-6647a9eae51e5310c9cfddcf)转换为Cipher查询,用于查询图数据库,查看该错误是否曾被报告过以及如何修复,从而提供上下文见解。
DsPy框架结合了手册和图数据库的响应,并且使用Llama基础模型为用户总结结果。
协调复合AI系统的DsPy框架会被部署在Databricks的模型服务上,以确保AI系统的可扩展性和安全性。Mosaic AI Gateway管理端点访问和安全性。
用户请求和响应的日志存储在Delta表中。通过NLP技术,系统识别、排序常见问题,并在类似问题出现时向用户提供解答。
未来属于复合AI
其他人都在看