-
-
Save dadarom/910ce7f7d77c96dca64d887e2f606155 to your computer and use it in GitHub Desktop.
| 分布式配置中心，监控报警，flume管控，进程管控【分布式管控】，binlog，vue，common frontend，H5(app),知识储备(牛博), |
Batch & Dispatch
Spring
spring-kafka https://projects.spring.io/spring-kafka/#quick-start
spring-reactive
spring-plugin
spring-flo HTML5 visual，used as the basis of the stream builder in Spring Cloud Data Flow
spring-retry
spring-hadoop
spring-shell
spring-ldap
spring-xd solve common big data problems such as data ingestion and export, real-time analytics, and batch workflow orchestration
spring-batch-extensions
spring-sync
spring-bus
file queue
FIFO 顺序append
[implementing-a-file-based-queue](http://stackoverflow.com/questions/3154034/implementing-a-file-based-queue
Lightweight fast persistent queue in Java using Berkley DB
tape
file server
大数据
sequence-file http://dongxicheng.org/mapreduce/hdfs-small-files-solution/
浅析Hadoop文件格式
fastdfs最佳实践
HDFS主要解决并行计算中数据的分布式(分块)存储，其单个数据文件通常很大；
FastDFS主要用于大中网站，为文件上传和下载提供在线服务。所以在负载均衡、动态扩容等方面都支持得比较好，FastDFS不会对文件进行分快（切分）存储。
列式存储与行式存储
为什么列存储数据库读取速度会比传统的行数据库快？
列存储的数据库更适合OLAP，行存储的数据库更适合OLTP
Parquet VS ORC
数据库好像汽车，引擎就是发动机
example
spark
spark 原理
Spark累加器
Spark共享变量
Spark广播变量与累加器
var counter = 0 var rdd = sc.parallelize(data) // Wrong: Don't do this!! rdd.foreach(x => counter += x) // reduceByKey
Spark性能优化(1)——序列化、内存、并行度、数据存储格式、Shuffle
Spark性能优化(2)——广播变量、本地缓存目录、RDD操作、数据倾斜
Tuning Spark
Spark Network 模块分析（基于Netty的实现）
深入研究 spark 运行原理
Spark 2.0分布式集群环境搭建
web framework
点滴杂记
Tech之外
市值风云
百家