文章
14
标签
19
分类
4
主页
标签页
分类
友情链接
工具页
ALICS
pte note
返回首页
搜索
主页
标签页
分类
友情链接
工具页
pte note
发表于
2026-03-23
|
更新于
2026-05-29
|
study
|
总字数:
18
|
阅读时长:
1分钟
|
浏览量:
验证
📚 PTE 学习笔记
这里是受保护的正文内容...
文章作者:
ALICS
文章链接:
http://hangfengya.com/pte-note/
版权声明:
此文章版權歸 ALICS 所有,如有轉載,請註明來自原作者
pte
note
上一篇
sql risk base on hongxing for data development
开发易错点整理 类型 关键字 问题描述 记录时间 备注 补充说明 Spark 分号 join语句失效,是因为join上面语句注释有分号 2025-03-19 注释一定不要有特殊符号 无 Spark application作为字段名 测试能跑通,发布就报错 2025-03-19 不要用关键字作为字段名字,实在要用加反引号 无 Spark join join的关联字段一定要类型一致 2025-03-19 join 字母 a=数字97 会关联上 无 Spark join join的关联字段不能有null 2025-03-19 会产生笛卡尔积 关联条件两边都是null导致条件失效产生笛卡尔积 中台 补数 众安平台补数不会跳过自定义crontab 2025-03-21 crontab依赖上游表,补数会忽略执行条件,统一设最晚执行时间 无 Spark 建表 doris表的源头表应该parquet格式 未记录 doris抽取任务拉取parquet文件,orc格式会抽取失败 无 Spark 测试环境,测试报分区相关错误 测试环境分区表目录缺失分区层...
下一篇
data_development_for_hiveUdf_example
Hive自定义函数(UDF)编写教程与案例适用场景:从数据库尾表获取数据,通过传入参数匹配并返回一个或多个结果;兼顾Java实现(推荐)与Python实现(补充),适配Python基础开发者的理解需求。 一、Hive自定义函数(UDF)核心概念Hive UDF主要分为三类,根据输入-输出关系选择适用类型: UDF(User-Defined Function):单行输入→单行输出(最常用,完全匹配本次需求) UDAF(User-Defined Aggregation Function):多行输入→单行输出(聚合函数,如sum/avg) UDTF(User-Defined Table-Generating Function):单行输入→多行输出(如explode函数) 本次场景为传入参数匹配尾表数据返回结果,优先选择UDF进行实现。 二、核心注意事项(必看) 依赖约束:Java实现必须继承org.apache.hadoop.hive.ql.exec.UDF类,且核心业务逻辑写在evaluate()方法中(Hive固定调用此方法)。 数据连接:尾表数据建议提前加载到内存(...
HangFengYa
文章
14
标签
19
分类
4
Follow Me
公告
Life is like a period.
Annoying when it's here.
Panicking when it's not.
目录
1.
📚 PTE 学习笔记
最新文章
电脑问题处理
2026-06-04
企业财务解决方案
2026-06-02
通用提示词
2026-05-29
华为云数仓开发指南
2026-05-28
企业供应链解决方案
2026-05-28
繁
搜索
数据加载中