my infomation for data development
曾寒枫的个人简历男 | 27岁 📞：19154964768 📧:eyou2024@163.com bolg：hangfengya.com 个人优势 阿里云 DataWorks 数据开发熟练使用 DataWorks 处理离线数据与调度任务，利用 ODPS SQL 、PYODPS 完成数据清洗、转换与加载，熟练使用 MaxCompute、Holo 等阿里云数仓组件。 BI 可视化与报表开发熟练使用 FineReport、FineBI、永洪 BI等报表工具开发复杂报表；包括驾驶舱、普通报表、填报报表等；熟知图表优化、性能调优等。 脚本与数据分析能力熟练使用 Python（NumPy、Pandas、os、sys）进行数据抽取、清洗与指标预计算；掌握 Linux 常用命令及 Shell 脚本，了解 JavaScript、ECharts，可支持前端可视化扩展。 业务理解与迁移能力熟悉工厂生...
pte note
验证 📚 PTE 学习笔记 这里是受保护的正文内容...
data_development_for_hiveUdf_example
Hive自定义函数（UDF）编写教程与案例适用场景：从数据库尾表获取数据，通过传入参数匹配并返回一个或多个结果；兼顾Java实现（推荐）与Python实现（补充），适配Python基础开发者的理解需求。 一、Hive自定义函数（UDF）核心概念Hive UDF主要分为三类，根据输入-输出关系选择适用类型： UDF（User-Defined Function）：单行输入→单行输出（最常用，完全匹配本次需求） UDAF（User-Defined Aggregation Function）：多行输入→单行输出（聚合函数，如sum/avg） UDTF（User-Defined Table-Generating Function）：单行输入→多行输出（如explode函数） 本次场景为传入参数匹配尾表数据返回结果，优先选择UDF进行实现。 二、核心注意事项（必看） 依赖约束：Java实现必须继承org.apache.hadoop.hive.ql.exec.UDF类，且核心业务逻辑写在evaluate()方法中（Hive固定调用此方法）。 数据连接：尾表数据建议提前加载到内存（...
my charts
{ "type": "pie", "data": { "labels": [ "编程", "音乐", "阅读", "游戏", "健身", "旅游" ], "datasets": [ { "label": "喜爱指数", "data": [ 30, 24, 19, ...
my photos
壁纸 收藏的一些壁纸 漫威 关于漫威的图片 OH MY GIRL 关于OH MY GIRL的图片 [{"url":"https://i.loli.net/2019/12/25/Fze9jchtnyJXMHN.jpg","alt":"","title":""},{"url":"https://i.loli.net/2019/12/25/ryLVePaqkYm4TEK.jpg","alt":"","title":""},{"url":"https://i.loli.net/2019/12/25/gEy5Zc1Ai6VuO4N.jpg","alt":"","title":""},{"url":"https://i.loli.net/2019/12/25/d6QHbytlSYO4FBG.jpg","alt":"","title":""},{"url...
2025 summary
于农历新年之际简单写写过去一年过去的一年里看起来没发几篇文章（其实你也就是没发几篇文章吧！），但确实一直也没闲着 完成了master毕业论文撰写，厚厚的一沓纸，仿佛耗尽了毕生精力。然后 ************* 如果说新的一年有什么愿望，我想那就是能买到更多我喜欢的模型，然后再给自己换个耳机，换个好平板。我挣钱就是为了给自己花的，只要自己高兴就足够了
data development for hongxing
【将json字符串转成多列的函数】12345678910111213WITH cte_base_i18n_lang_dict AS (SELECT explode(udf.read_json(zh_cn)) AS j_zh_cn FROM stg.stg_base_i18n_lang_dict WHERE dt = '2025-10-12' AND delete_flag = '0' AND code in ('enum_inventory_BillTypeInEnum', 'enum_inventory_BillTypeOutEnum', ...
sql risk base on hongxing for data development
开发易错点整理 类型 关键字 问题描述 记录时间 备注 补充说明 Spark 分号 join语句失效，是因为join上面语句注释有分号 2025-03-19 注释一定不要有特殊符号 无 Spark application作为字段名 测试能跑通，发布就报错 2025-03-19 不要用关键字作为字段名字，实在要用加反引号 无 Spark join join的关联字段一定要类型一致 2025-03-19 join 字母 a=数字97 会关联上 无 Spark join join的关联字段不能有null 2025-03-19 会产生笛卡尔积 关联条件两边都是null导致条件失效产生笛卡尔积 中台 补数 众安平台补数不会跳过自定义crontab 2025-03-21 crontab依赖上游表，补数会忽略执行条件，统一设最晚执行时间 无 Spark 建表 doris表的源头表应该parquet格式 未记录 doris抽取任务拉取parquet文件，orc格式会抽取失败 无 Spark 测试环境，测试报分区相关错误 测试环境分区表目录缺失分区层...