关闭 x
IT技术网
    技 采 号
    ITJS.cn - 技术改变世界
    • 实用工具
    • 菜鸟教程
    IT采购网 中国存储网 科技号 CIO智库

    IT技术网

    IT采购网
    • 首页
    • 行业资讯
    • 系统运维
      • 操作系统
        • Windows
        • Linux
        • Mac OS
      • 数据库
        • MySQL
        • Oracle
        • SQL Server
      • 网站建设
    • 人工智能
    • 半导体芯片
    • 笔记本电脑
    • 智能手机
    • 智能汽车
    • 编程语言
    IT技术网 - ITJS.CN
    首页 » SQL语言 »优化OLAP中的聚合(1)

    优化OLAP中的聚合(1)

    2015-11-17 00:00:00 出处:ITJS
    分享

    DBMS_AW 包有两个很有趣也很有用的存储过程,它们使你可以调整你的聚合过程。在OLAP项目中一个常见的问题是预先计算哪些等级以及在查询时计算哪些等级 大多数人们似乎认为你必须预先计算他们维度的所有等级。不过这个方法的缺点是数据加载和聚合过程会比你所期望的时间更长。那么是否可以尽可能地平衡数据加载/聚合和预解析以维护查询性能 DBMS_AW包有两个存储过程是可以帮助你优化这个聚合过程的,它们能够确认一个维度中消耗最多的成员。这两个包是:

    · ADVISE_CUBE

    · ADVISE_REL

    它们都使你可以定义一个百分值来进行预先计算,这作为形成常规建立过程的一部分。在11g中,这直接包括进AWM中,但是对于那些使用10g的客户,这有一个关于怎样使用这些存储过程的快速概括。

    Advise_Cube

    ADVISE_CUBE 存储过程帮助你确定怎样在一个分析工作区中预先聚合一个标准格式立方体。这个存储过程有两个参数:

    · Aggmap_name:与这个立方体关联的aggmap的名称。

    · Precompute_percentage:要进行预先聚合的立方体数据的百分比。默认是20%。

    在aggmap中的每一个RELATION语句都必须有一个预先计算的条件语句,它包含一个valueset(数据集)。假如这个valueset不为空,那么ADVISE_CUBE在添加新的值前会删除它的内容。

    这个aggmap必须在它的每一个RELATION语句中有一个预先计算的条件子句。预先计算的条件子句必须包含一个valueset。基于你指定的预先计算百分比,ADVISE_CUBE会返回一个在每个valueset中的维度成员集合。

    现在我试着使用这个常规schema并在获取正确结果方面遇到了一些问题。在一个立方体中的每一个测量,都有一个指向AGGMAP对象的规则,如下所示,在这里aggmap是OBJ1123208571:

    DEFINE SALES_PRT_TOPFRML FORMULA DECIMAL

    EQ aggregate(this_aw!SALES_PRT_TOPVAR using this_aw!OBJ1124208571)

    这个aggmap看起来是这样的:

    DEFINE OBJ1124208571 AGGMAP 
    AGGMAP 
    RELATION this_aw!TIME_PARENTREL(this_aw!TIME_AGGRHIER_VSET) PRECOMPUTE(this_aw!TIME_AGGRDIM_VSET) OPERATOR SUM args DIVIDEBYZERO YES DECIMALOVERFLOW YES NASKIP YES COUNT NO 
    RELATION this_aw!CHANNELS_PARENTREL(this_aw!CHANNELS_AGGRHIER_VSET) PRECOMPUTE(this_aw!CHANNELS_AGGRDIM_VSET) OPERATOR SUM args DIVIDEBYZERO YES DECIMALOVERFLOW YES NASKIP YES COUNT NO 
    RELATION this_aw!GEOGRAPHIES_PARENTREL(this_aw!GEOGRAPHIES_AGGRHIER_VSET) PRECOMPUTE(this_aw!GEOGRAPHIES_AGGRDIM_VSET) OPERATOR SUM args DIVIDEBYZERO YES DECIMALOVERFLOW YES NASKIP YES COUNT NO 
    RELATION this_aw!PRODUCTS_PARENTREL(this_aw!PRODUCTS_AGGRHIER_VSET) PRECOMPUTE(this_aw!PRODUCTS_AGGRDIM_VSET) OPERATOR SUM args DIVIDEBYZERO YES DECIMALOVERFLOW YES NASKIP YES COUNT NO 
    MODEL this_aw!SALES_OBJ1124208571_TIME_AWXMLMODEL PRECOMPUTE(NA) 
    MODEL this_aw!SALES_OBJ1124208571_CHANNELS_AWXMLMODEL PRECOMPUTE(NA) 
    MODEL this_aw!SALES_OBJ1124208571_GEOGRAPHIES_AWXMLMODEL PRECOMPUTE(NA) 
    MODEL this_aw!SALES_OBJ1124208571_PRODUCTS_AWXMLMODEL PRECOMPUTE(NA) 
    AGGINDEX NO 
    CACHE SESSION 
    END 
    

    在这篇文档中,这个示例显示了一个更为简单的AGGMAP,如下所示:

    DEFINE UNITS_AGG AGGMAP

    我不确定在计算一个维度中指定成员的成本时这个是怎么工作的。对另一个包Advise_Rel清楚些。

    Advise_Rel

    ADIVISE_REL过程是对一个指定的维度起作用,并可以使用标准格式aggmap涉及的现有valuesets。这个存储过程有三个参数:

    · Family_relation_name:家族关系的名称,它指定一个维度和维度成员间的层级关系。

    · Valueset_name:一个valueset的名称,它包含了这个过程的结果。这个valueset必须是从家族关系中的维度定义的。假如这个valueset不为空,那么ADVISE_REL会在添加新值之前删除它的内容。

    · Precompute_percentage:这个维度预先聚合的百分比。默认是20%。

    这个valueset必须是基于要分析的维度的,而且在这种情况下这个valueset可以列在标准格式aggmap中。基于你指定的预先计算百分比,ADVISE_REL会返回维度成员的集合到指定的valueset中。预先计算的值是基于探索父成员的成本而选择的。一个父成员具有的子成员越多,那么它在查询时计算所花费的时间就越长。

    这是用来执行这个过程的脚本:

    SET SERVEROUTPUT ON 
    spool advise_dims.log 
    EXEC dbms_aw.execute('aw attach SH_AW rw'); 
    EXEC dbms_aw.advise_rel('PRODUCT_PARENTREL', 'PRODUCT_AGGRDIM_VSET', 25); 
    EXEC dbms_aw.advise_rel('CHANNELS_PARENTREL', 'CHANNELS_AGGRDIM_VSET', 25); 
    EXEC dbms_aw.advise_rel('GEOGRAPHIES_PARENTREL', 'GEOGRAPHIES_AGGRDIM_VSET', 25); 
    EXEC dbms_aw.advise_rel('TIME_PARENTREL', 'TIME_AGGRDIM_VSET', 25); 
    EXEC dbms_aw.execute('show values(PRODUCTS_AGGRDIM_VSET)'); 
    EXEC dbms_aw.execute('show values(GEOGRAPHIES_AGGRDIM_VSET)'); 
    EXEC dbms_aw.execute('show values(CHANNELS_AGGRDIM_VSET)'); 
    EXEC dbms_aw.execute('show values(TIME_AGGRDIM_VSET)'); 
    execute dbms_aw.execute('update;commit;aw detach SH_AW'); 
    spool off 
    exit 
    

    最后一步是加载数据到立方体中,现在这个聚合引擎会使用这些值来预先计算指定的成员。

    DBMS_AW 包有两个很有趣也很有用的存储过程,它们使你可以调整你的聚合过程。在OLAP项目中一个常见的问题是预先计算哪些等级以及在查询时计算哪些等级 大多数人们似乎认为你必须预先计算他们维度的所有等级。不过这个方法的缺点是数据加载和聚合过程会比你所期望的时间更长。那么是否可以尽可能地平衡数据加载/聚合和预解析以维护查询性能 DBMS_AW包有两个存储过程是可以帮助你优化这个聚合过程的,它们能够确认一个维度中消耗最多的成员。这两个包是:

    · ADVISE_CUBE

    · ADVISE_REL

    它们都使你可以定义一个百分值来进行预先计算,这作为形成常规建立过程的一部分。在11g中,这直接包括进AWM中,但是对于那些使用10g的客户,这有一个关于怎样使用这些存储过程的快速概括。

    Advise_Cube

    ADVISE_CUBE 存储过程帮助你确定怎样在一个分析工作区中预先聚合一个标准格式立方体。这个存储过程有两个参数:

    · Aggmap_name:与这个立方体关联的aggmap的名称。

    · Precompute_percentage:要进行预先聚合的立方体数据的百分比。默认是20%。

    在aggmap中的每一个RELATION语句都必须有一个预先计算的条件语句,它包含一个valueset(数据集)。假如这个valueset不为空,那么ADVISE_CUBE在添加新的值前会删除它的内容。

    这个aggmap必须在它的每一个RELATION语句中有一个预先计算的条件子句。预先计算的条件子句必须包含一个valueset。基于你指定的预先计算百分比,ADVISE_CUBE会返回一个在每个valueset中的维度成员集合。

    现在我试着使用这个常规schema并在获取正确结果方面遇到了一些问题。在一个立方体中的每一个测量,都有一个指向AGGMAP对象的规则,如下所示,在这里aggmap是OBJ1123208571:

    DEFINE SALES_PRT_TOPFRML FORMULA DECIMAL

    EQ aggregate(this_aw!SALES_PRT_TOPVAR using this_aw!OBJ1124208571)

    这个aggmap看起来是这样的:

    DEFINE OBJ1124208571 AGGMAP 
    AGGMAP 
    RELATION this_aw!TIME_PARENTREL(this_aw!TIME_AGGRHIER_VSET) PRECOMPUTE(this_aw!TIME_AGGRDIM_VSET) OPERATOR SUM args DIVIDEBYZERO YES DECIMALOVERFLOW YES NASKIP YES COUNT NO 
    RELATION this_aw!CHANNELS_PARENTREL(this_aw!CHANNELS_AGGRHIER_VSET) PRECOMPUTE(this_aw!CHANNELS_AGGRDIM_VSET) OPERATOR SUM args DIVIDEBYZERO YES DECIMALOVERFLOW YES NASKIP YES COUNT NO 
    RELATION this_aw!GEOGRAPHIES_PARENTREL(this_aw!GEOGRAPHIES_AGGRHIER_VSET) PRECOMPUTE(this_aw!GEOGRAPHIES_AGGRDIM_VSET) OPERATOR SUM args DIVIDEBYZERO YES DECIMALOVERFLOW YES NASKIP YES COUNT NO 
    RELATION this_aw!PRODUCTS_PARENTREL(this_aw!PRODUCTS_AGGRHIER_VSET) PRECOMPUTE(this_aw!PRODUCTS_AGGRDIM_VSET) OPERATOR SUM args DIVIDEBYZERO YES DECIMALOVERFLOW YES NASKIP YES COUNT NO 
    MODEL this_aw!SALES_OBJ1124208571_TIME_AWXMLMODEL PRECOMPUTE(NA) 
    MODEL this_aw!SALES_OBJ1124208571_CHANNELS_AWXMLMODEL PRECOMPUTE(NA) 
    MODEL this_aw!SALES_OBJ1124208571_GEOGRAPHIES_AWXMLMODEL PRECOMPUTE(NA) 
    MODEL this_aw!SALES_OBJ1124208571_PRODUCTS_AWXMLMODEL PRECOMPUTE(NA) 
    AGGINDEX NO 
    CACHE SESSION 
    END 
    

    在这篇文档中,这个示例显示了一个更为简单的AGGMAP,如下所示:

    DEFINE UNITS_AGG AGGMAP

    我不确定在计算一个维度中指定成员的成本时这个是怎么工作的。对另一个包Advise_Rel清楚些。

    Advise_Rel

    ADIVISE_REL过程是对一个指定的维度起作用,并可以使用标准格式aggmap涉及的现有valuesets。这个存储过程有三个参数:

    · Family_relation_name:家族关系的名称,它指定一个维度和维度成员间的层级关系。

    · Valueset_name:一个valueset的名称,它包含了这个过程的结果。这个valueset必须是从家族关系中的维度定义的。假如这个valueset不为空,那么ADVISE_REL会在添加新值之前删除它的内容。

    · Precompute_percentage:这个维度预先聚合的百分比。默认是20%。

    这个valueset必须是基于要分析的维度的,而且在这种情况下这个valueset可以列在标准格式aggmap中。基于你指定的预先计算百分比,ADVISE_REL会返回维度成员的集合到指定的valueset中。预先计算的值是基于探索父成员的成本而选择的。一个父成员具有的子成员越多,那么它在查询时计算所花费的时间就越长。

    这是用来执行这个过程的脚本:

    SET SERVEROUTPUT ON 
    spool advise_dims.log 
    EXEC dbms_aw.execute('aw attach SH_AW rw'); 
    EXEC dbms_aw.advise_rel('PRODUCT_PARENTREL', 'PRODUCT_AGGRDIM_VSET', 25); 
    EXEC dbms_aw.advise_rel('CHANNELS_PARENTREL', 'CHANNELS_AGGRDIM_VSET', 25); 
    EXEC dbms_aw.advise_rel('GEOGRAPHIES_PARENTREL', 'GEOGRAPHIES_AGGRDIM_VSET', 25); 
    EXEC dbms_aw.advise_rel('TIME_PARENTREL', 'TIME_AGGRDIM_VSET', 25); 
    EXEC dbms_aw.execute('show values(PRODUCTS_AGGRDIM_VSET)'); 
    EXEC dbms_aw.execute('show values(GEOGRAPHIES_AGGRDIM_VSET)'); 
    EXEC dbms_aw.execute('show values(CHANNELS_AGGRDIM_VSET)'); 
    EXEC dbms_aw.execute('show values(TIME_AGGRDIM_VSET)'); 
    execute dbms_aw.execute('update;commit;aw detach SH_AW'); 
    spool off 
    exit 
    

    最后一步是加载数据到立方体中,现在这个聚合引擎会使用这些值来预先计算指定的成员。

    上一篇返回首页 下一篇

    声明: 此文观点不代表本站立场;转载务必保留本文链接;版权疑问请联系我们。

    别人在看

    抖音安全与信任开放日:揭秘推荐算法,告别单一标签依赖

    ultraedit编辑器打开文件时,总是提示是否转换为DOS格式,如何关闭?

    Cornell大神Kleinberg的经典教材《算法设计》是最好入门的算法教材

    从 Microsoft 下载中心安装 Windows 7 SP1 和 Windows Server 2008 R2 SP1 之前要执行的步骤

    Llama 2基于UCloud UK8S的创新应用

    火山引擎DataTester:如何使用A/B测试优化全域营销效果

    腾讯云、移动云继阿里云降价后宣布大幅度降价

    字节跳动数据平台论文被ICDE2023国际顶会收录,将通过火山引擎开放相关成果

    这个话题被围观超10000次,火山引擎VeDI如此解答

    误删库怎么办?火山引擎DataLeap“3招”守护数据安全

    IT头条

    平替CUDA!摩尔线程发布MUSA 4性能分析工具

    00:43

    三起案件揭开侵犯个人信息犯罪的黑灰产业链

    13:59

    百度三年开放2.1万实习岗,全力培育AI领域未来领袖

    00:36

    工信部:一季度,电信业务总量同比增长7.7%,业务收入累计完成4469亿元

    23:42

    Gartner:2024年全球半导体营收6559亿美元,AI助力英伟达首登榜首

    18:04

    技术热点

    iOS 8 中如何集成 Touch ID 功能

    windows7系统中鼠标滑轮键(中键)的快捷应用

    MySQL数据库的23个特别注意的安全事项

    Kruskal 最小生成树算法

    Ubuntu 14.10上安装新的字体图文教程

    Ubuntu14更新后无法进入系统卡在光标界面解怎么办?

      友情链接:
    • IT采购网
    • 科技号
    • 中国存储网
    • 存储网
    • 半导体联盟
    • 医疗软件网
    • 软件中国
    • ITbrand
    • 采购中国
    • CIO智库
    • 考研题库
    • 法务网
    • AI工具网
    • 电子芯片网
    • 安全库
    • 隐私保护
    • 版权申明
    • 联系我们
    IT技术网 版权所有 © 2020-2025,京ICP备14047533号-20,Power by OK设计网

    在上方输入关键词后,回车键 开始搜索。Esc键 取消该搜索窗口。