发简信
IP属地：北京
-
用executemany遇到的两个问题
在用python的MySQLdb库操作mysql数据库时，使用executemany可以批量插入数据，极大的提高写入速度。今天我在使用executemany的使用，碰到了两个...
-
flink-cdh-parcel测试安装先上flink-cdh-parcel测试安装效果图： 下载地址：https://archive.cloudera.com/csa/1.0.0.0 一：将FLINK-1.9.0...
-
文本处理(grep, sed和awk等)
-
此简书博客不再在简书更新
改版后的简书，变的越来越像 CSDN。 博客已迁移到 Github Pages - https://ohmysummer.github.io。 此地不打算再更新新的内容。
-
就是这样子的
使用 scopt 解析命令行参数
https://github.com/scopt/scopt 简单的 scala 命令行选项解析 scopt 是一个小小的命令行选项解析库。 Sonatype 查看上面的 M...
-
-
Kafka扩容节点和分区迁移
背景 最近工作中碰到Kafka 节点的网卡成为了性能瓶颈，为了提高整个消息队列的输出吞吐量，需要将数据量大的Topic 迁移到新的Kafka节点上。 操作步骤 1. 新建Ka...
-
@无敌超 可能得用 newAPIHadoopRDD吧
使用 Spark 读写 HBase 数据
Use Spark to read and write HBase data 启动 hbase 在 HBase 中准备 sample 数据 1、运行 HBase shell ...
-
@无敌超 row key 格式很多，意思是 row key 的结构/构造不一样吗？
使用 Spark 读写 HBase 数据
Use Spark to read and write HBase data 启动 hbase 在 HBase 中准备 sample 数据 1、运行 HBase shell ...
-
val parser = new OptionParser[Params]("Test") {
head("parse arguments")
opt[String]('d', "day")
.text("which day")
.action((x, c) => c.copy(day = x))
opt[Int]('p', "partition")
.text("how many partition")
.action((x, c) => c.copy(partition = x))
help("help").text("prints this usage text")
}
parser.parse(args, Params()) match {
case Some(params) =>
println(params)
case _ => sys.exit(1)
}
case class Params(day: String = "20180101", partition: Int = 5)使用 scopt 解析命令行参数
https://github.com/scopt/scopt 简单的 scala 命令行选项解析 scopt 是一个小小的命令行选项解析库。 Sonatype 查看上面的 M...
-
Spark Structured Streaming 写checkpoint 到HDFS 抖动的排查问题描述 我们最近有个项目，需要实时消费订单成单的消息，提炼完数据后把结果写入HDFS，因此checkpointConfiguration 自然而然也采用默认配置写到HDFS...
-
CDH中yarn的动态资源池的相关配置
CDH Yarn资源队列划分管理场景：根据不同项目或不同用户，对yarn资源队列进行划分，达到资源管控，任务管控的目的CDH版本：5.x配置：1 yarn资源队列参数设置：(...
-
raku 版本：
for $=finish.lines -> $l {
if $l ~~ /^'>'/ ff $l !~~ /^'>'/ {
if $l.contains('>') {
print $l.subst: '>', '';
} else {
say " :" ~ $l.chars;
}
}
}
=finish
>con1
GTTCATAACTTACCATTGACTGTTCATGATTTAAACTGTGTCTTCCTGTTCTTTTAGTTGCTTTGGATACTATAAGGTCAGAACTAGAA
>con2
GGGACCAGGTGGGAAGCTGCTGCTTTCTTTTCCCTTTTGGTCTTCTTGGGCCCACCCTTCAGCTTCTGCTTTTCTTCATCTTCTCGGTTTTGAGGCCAGGAGGCAGCCAGTATCCTGGCCGCTTCTGCTTGAGAGCTGGTCCCCTCCTCT
>con3
TCCAGAGCCAGTTCCCTGACGATGCCGAGGTTTACCGGCTCATCGAGGTGACTGGCCTTGCCAGGAGCGAGATCAAGAAGTGGTTCAGTGACCACCGATATCGGTGTCAAAGGGGCATCGTCCACATCACCAG
>con4
TTTTCCTCCAAGTGTACAAGACTGATCTGGAGAAGGACATTATTTCGGACACATCTGGTGACTTCCGCA
>con5
GTTTGCATCGTCATCCAATTTTTTTTCATATGCCCCAAACCCATTCAATTTCTGATTGTGTTGTGTTCCCTGGTGTAAGATATCTCCCAGGAGAGGGCCACACATTCCCCAGAGGTGGACCTTCTTGGTACATACACCperl实战练习-计算fastq文件中每条序列的长度
计算FASTA文件中每条序列的长度输入文件fasta.txt 脚本如下，脚本名：get_fasta.pl 运行脚本如下，脚本get_fasta.pl，输入文件为fasta.t...
-
处理文本可以使用 raku 语言(https://raku.org)来做。Raku 语言之前叫 Perl 6, 已经不是 Perl 5 的下一个版本了。
perl实战练习-计算fastq文件中每条序列的长度
计算FASTA文件中每条序列的长度输入文件fasta.txt 脚本如下，脚本名：get_fasta.pl 运行脚本如下，脚本get_fasta.pl，输入文件为fasta.t...
