在数据清洗和转换过程中,需要把多行按照聚合成一行,下面介绍几个聚合函数。

特别要注意非聚合字段是null的情况,这是导致聚合字段过长的主要原因。

1.WM_CONCAT()

在11G和12C版本中,这个函数已经失效。

select t.nation,wm_concat(t.city) as citys from a_test group by t.nation;

2.LISTAGG()

这个函数容易出现字符串过长的报错。

select t.nation,listagg(t.city,',') within group(order by t.city) as citys

from a_test t

group by t.nation;

3.XMLAGG()

select t.nation,rtrim(xmlagg(xmlelement(e,t.city,',').extract('//text()')).getclobval(),',') as citys

from a_test t

group by t.nation;

---结果中的聚合字段是CLOB类型,是文本字符。

---处理400多万条数据,运行时间是20分钟

特别要注意非聚合字段是null的情况,这是导致聚合字段过长的主要原因。

select t.nation,xmlagg(xmlparse(content t.city || ','wellformed) order by t.nation).getclobval()

from a_test t

group by t.nation;

---结果汇总的聚合字段也是clob类型,不过是hex字节;

---处理400多万条数据,运行时间是56秒

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐