hdfs命令行流式处理

发表于 2021-12-20 分类于 hdfs 本文字数： 239 阅读时长 ≈ 1 分钟

文件流式处理

在处理hdfs数据时，可能会遇到本地磁盘空间不足以存放数据的问题，这时我们可以使用linux的stdio对数据进行流式处理，以替换每行内容为例

1
2
3

hadoop -cat hdfs://your_path/your_file |\
sed  "s/some_thing/some_other/g" |\
hadoop -put - hdfs://your_path/your_processed_file

这样利用pipe完成了对数据的处理，同时避免了数据在本地落盘。

发表于 2021-12-19 分类于 linux 本文字数： 579 阅读时长 ≈ 2 分钟

最近看到知乎上，关于最让自己印象深刻的一次bug的经历，的讨论，不禁让我回想起了研一时，那一次libc依赖损坏的事故。

发表于 2021-12-09 分类于深度学习本文字数： 181 阅读时长 ≈ 1 分钟

在部署模型时，对于输入数据的预处理是一个非常耗时的操作，其实可以将预处理一同打包到模型中，在转换为ONNX或者Tensorrt模型后这些操作就可以随着模型一起被加速执行。

以最简单的归一化操作为例

发表于 2021-12-09 分类于大数据本文字数： 209 阅读时长 ≈ 1 分钟

在处理数据时，时常会遇到需要处理json数据的情况, 可以使用get_json_object, regexp_replace, split来组合对json数组进行处理

发表于 2021-12-02 分类于编程技巧本文字数： 173 阅读时长 ≈ 1 分钟

有时我们无法确定一段代码会抛出何种异常，但是又希望能捕获这些异常

发表于 2021-11-22 分类于 GPU 本文字数： 1k 阅读时长 ≈ 4 分钟

在使用triton时，可以使用shared memory方式加速数据传输的过程

发表于 2021-11-17 分类于 kv 本文字数： 847 阅读时长 ≈ 3 分钟

由于服务器依赖比较老旧，因此需要重新安装各种依赖

发表于 2021-09-22 分类于编程技巧本文字数： 680 阅读时长 ≈ 2 分钟

在子类中，可以声明一个和父类相同的函数，此时父类函数是否标记为virtual将会影响这一行为

发表于 2021-09-08 分类于 GPU 本文字数： 287 阅读时长 ≈ 1 分钟

调试plan文件的时候经常需要输出相关信息，在这里分享一个方便的程序脚本，可以输出每个输入输出节点的相关信息

发表于 2021-08-11 分类于 python 本文字数： 447 阅读时长 ≈ 2 分钟

python中的各种import方式