技术创新再被认可！Smartbi荣获“2023大数据产业年度创新技术突破”大奖

发布时间：2024-02-18      游览量：614

• 用户流失预测报表工具排名数据库交叉表

近日，由金猿、数据猿、上海大数据联盟主办，上海市经济和信息化委员会、上海科学技术委员会指导的“第六届金猿季&魔方论坛——大数据产业发展论坛”在上海举行。思迈特软件凭借“基于数据模型的自然语言数据查询系统“荣获“2023大数据产业年度创新技术突破”奖。

除此之外，此次由思迈特软件董事长吴华夫带领的开发团队也获得了本次大奖的荣誉认可，此份奖项不仅是对思迈特软件产品整体创新能力的认可，更是对开发团队智慧结晶与辛勤付出的高度肯定。吴华夫先生以其前瞻性的战略眼光和坚韧不拔的科研精神，带领开发团队不断攻坚克难，推动NLA技术研发与应用实践深度融合，成功实现了从理念到产品的跨越，有力助推了商业智能与大数据分析产业的技术进步和创新发展。
          

基于数据模型的自然语言数据查询系统的发展背景是主要源于解决在经典自然语言查询应用方案中发现的痛点，这类系统依托于数据模型构建，其中端到端的语言模型充当中间层将用户输入的自然语言转化为 SQL 执行语句，数据库作为底层存储和数据处理的引擎，负责接受和执行从大模型发送过来的 SQL 语句，对数据进行聚合、筛选、排序等操作，满足基于数据集的查询分析需求。

然而，这类系统在实际落地过程中常常面临着不少挑战，比如说数据口径混乱，用户表达歧义，尤其在处理复杂关联和跨表查询时准确性受限；性能出现瓶颈，仅依赖数据库导致查询效率低下；私域知识识别问题在于模型缺乏领域知识，难以深入理解业务语义。

针对以上难点，Smartbi解决思路是将以上挑战逐一拆解，通过组件叠加分阶段完善智能问答的架构构建：

第一，利用数据模型增加语义层，有效解决了复杂数据处理中的口径不一致问题，通过简化多表关联至单表查询提升了语义转换精确度，并使业务分析师能够灵活定义多源数据的标准语义信息。

其次，针对大数据量下的查询问题，Smartbi采用了Clickhouse作为查询引擎，并基于数据模型建模进行了指标的预聚合，并添加了数据查询的缓存库，显著提升了数据查询响应速度。

再来，针对私域知识的问题，提供了配置的同义词知识库和一个用户行为知识库。在查询过程中为语言模型提供个性化补充信息，从而增强了对私域知识的理解和处理效果，提升了整体语言处理质量。

因此，基于数据模型的自然语言数据查询系统通过构建层次化数据模型、集成高性能查询引擎及个性化知识库，成功应对了业务语义在实际应用中的复杂性挑战，实现了数据口径一致到查询性能优化再到私域知识理解的全面提升，确保了对话式分析功能在各类业务场景中能够准确、高效地为用户提供深度洞察和决策支持。

这一成就不仅体现了Smartbi在BI领域的深厚积累与技术实力，也生动诠释了AI+BI融合对于推动企业数字化转型及提升数据决策效率的重要性。展望未来，随着人工智能与大数据模型等新兴科技持续重塑各行各业的生产力格局，作为国内领先的BI厂商，Smartbi将继续深耕BI领域，不断探索AI与BI技术融合的可能性，努力构建创新且实用的技术方法，为客户提供更优质的解决方案和服务。