twitter情感分析kaggle（推特情感博主）

数据库分库分表（二）Twitter-Snowflake（64位分布式ID算法）分析与JAVA实现

Twitter-Snowflake算法产生的背景相当简单，为了满足Twitter每秒上万条消息的请求，每条消息都必须分配一条唯一的id，这些id还需要一些大致的顺序（方便客户端排序），并且在分布式系统中不同机器产生的id必须不同。各种主键ID生成策略对比，见 常见分布式主键ID生成策略

把 41位的时间前缀 ， 10位的节点标识 ， 12位的sequence 组合在一起。

除了最高位bit标记为不可用以外，其余三组bit占位均可浮动，看具体的业务需求而定。 默认情况下41bit的时间戳，1970年算起可以支持该算法使用到2038年，10bit的工作机器id可以支持1024台机器，序列号支持1毫秒产生4096个自增序列id 。

Snowflake是Twitter在2010年用Scala语言写的一套主键生成策略，用Thrift对外发布主键生成服务，其中依赖了Twitter内部的Infrastructure，后来Twitter用 Twitter-server 代替了Snowflake，自2012年起就未更新。见 Twitter-Snowflake项目地址（Tags:snowflake-2010）

之前写了一个Java的实现，改自网上一个版本: Twitter的分布式自增ID算法Snowflake实现分析及其Java、Php和Python版 。后来看到当当网的 Sharding-JDBC 分库分表中间件已实现了此算法。就直接在其中添加了一些新特性，已merge。( 具体实现 , 说明文档 )

添加3种IdGenerator实现。

用笔记本（i7-3632QM 2.2GHz 四核八线程）测试了下，每秒生成409万（理论上的峰值），CPU占用率18.5%。

大数据学习路线是什么？

主要分为 7 个阶段：入门知识 → Java 基础 → Scala 基础 → Hadoop 技术模块 → Hadoop 项目实战 → Spark 技术模块 → 大数据项目实战。

阶段一：学习入门知识

这一部分主要针对的是新手，在学习之前需要先掌握基本的数据库知识。MySQL 是一个 DBMS（数据库管理系统），是最流行的关系型数据库管理系统（关系数据库，是建立在关系数据库模型基础上的数据库，借助于集合代数等概念和方法来处理数据库中的数据）。

MongoDB 是 IT 行业非常流行的一种非关系型数据库（NoSQL），其灵活的数据存储方式备受当前 IT 从业人员的青睐。

而 Redis 是一个开源、支持网络、基于内存、键值对存储数据库。两者都非常有必要了解。

1、Linux 基础入门（新版）

2、Vim编辑器

3、Git 实战教程

4、MySQL 基础课程

5、MongoDB 基础教程

6、Redis基础教程

阶段二：Java基础

Java 是目前使用最为广泛的编程语言，它具有的众多特性，特别适合作为大数据应用的开发语言。

Java 语言具有功能强大和简单易用两个特征，跨平台应用能力比 C、C++ 更易用，更容易上手。同时还具有简单性、面向对象、分布式、健壮性、安全性、平台独立与可移植性、多线程、动态性等特点。最重要的一点是 Hadoop 是用 Java 编写的。

1、Java编程语言（新版）

2、Java进阶之设计模式

3、J2SE核心开发实战

4、JDK 核心 API

5、JDBC 入门教程

6、Java 8 新特性指南

阶段三：Scala基础

Scala 是一种多范式的编程语言，其设计的初衷是要集成面向对象编程和函数式编程的各种特性。由于 Scala 运行于 Java 平台（Java 虚拟机），并兼容现有的Java 程序，所以 Scala 可以和大数据相关的基于 JVM 的系统很好的集成。

1、Scala 开发教程

2、Scala 专题教程 - Case Class和模式匹配

3、Scala 专题教程 - 隐式变换和隐式参数

4、Scala 专题教程 - 抽象成员

5、Scala 专题教程 - Extractor

6、Scala 开发二十四点游戏

阶段四：Hadoop技术模块

Hadoop 是一款支持数据密集型分布式应用并以 Apache 2.0 许可协议发布的开源软件框架，它能搭建大型数据仓库，PB 级别数据的存储、处理、分析、统计等业务。编程语言你可以选，但 Hadoop 一定是大数据必学内容。

1、Hadoop入门进阶课程

2、Hadoop部署及管理

3、HBASE 教程

4、Hadoop 分布式文件系统--导入和导出数据

5、使用 Flume 收集数据

阶段五：Hadoop项目实战

当然，学完理论就要进行动手实战了，Hadoop 项目实战可以帮助加深对内容的理解，并锻炼动手能力。

1、Hadoop 图处理--《hadoop应用框架》

阶段六：Spark技术模块

Spark 和 Hadoop 都是大数据框架。Hadoop 提供了 Spark 所没有的功能特性，比如分布式文件系统，而 Spark 为需要它的那些数据集提供了实时内存处理。所以学习 Spark 也非常必要。

1、Spark

2、x 快速入门教程

2、Spark 大数据动手实验

3、Spark 基础之 GraphX 图计算框架学习

4、Spark 基础之 DataFrame 基本概念学习

5、Spark 基础之 DataFrame 高阶应用技巧

6、Spark 基础之 Streaming 快速上手

7、Spark 基础之 SQL 快速上手

8、Spark 基础之使用机器学习库 MLlib

9、Spark 基础之 SparkR 快速上手

10、流式实时日志分析系统--《Spark 最佳实践》

11、使用 Spark 和 D3.js 分析航班大数据

阶段七：大数据项目实战

最后阶段提供了大数据实战项目，这是对常用技能的系统运用，例如使用常用的机器学习进行建模、分析和运算，这是成为大数据工程师过程中的重要一步。

1、Ebay 在线拍卖数据分析

2、流式实时日志分析系统--《Spark 最佳实践》

3、大数据带你挖掘打车的秘籍

4、Twitter数据情感分析

5、使用 Spark 进行流量日志分析

6、Spark流式计算电商商品关注度

7、Spark的模式挖掘-FPGrowth算法

扩展资料：

大数据技术的具体内容：

分布式存储计算架构（强烈推荐：Hadoop）

分布式程序设计（包含：Apache Pig或者Hive）

分布式文件系统（比如：Google GFS）

多种存储模型，主要包含文档，图，键值，时间序列这几种存储模型（比如：BigTable，Apollo， DynamoDB等）

数据收集架构（比如：Kinesis，Kafla）

集成开发环境（比如：R-Studio）

程序开发辅助工具（比如：大量的第三方开发辅助工具）

调度协调架构工具（比如：Apache Aurora）

机器学习（常用的有Apache Mahout 或 H2O）

托管管理（比如：Apache Hadoop Benchmarking）

安全管理（常用的有Gateway）

大数据系统部署（可以看下Apache Ambari）

搜索引擎架构（ 学习或者企业都建议使用Lucene搜索引擎）

多种数据库的演变（MySQL/Memcached）

商业智能（大力推荐：Jaspersoft ）

数据可视化（这个工具就很多了，可以根据实际需要来选择）

大数据处理算法（10大经典算法）

大数据带来的隐患 数据垄断

大数据带来的隐患：数据垄断

在信息爆炸的社会，受众面对海量信息，往往需要花费大量的时间和精力进行筛选。但借助来自移动互联网和社会化媒体所提供的丰富数据资源（例如用户的地理位置、关系网、兴趣图谱等信息），以及日臻精确的挖掘和分析技术，媒体可以了解受众的心理、 需求以及行为习惯等，并以此为基础提供更符合受众需要的、个性化的内容服务与广告营销。这样的精准传播会加深受众好感，提高用户忠诚度。

以往触不可及的梦想在大数据时代实现了。而最深刻的革命其实不在外界，而在人类的思维领域。

人类思维的转向：人类的态度、情绪、行为等都可以变为数据进行分析和预测

人类内心深处隐秘的欲望、需求、情感是可以洞悉并预测的吗？这是一个长久以来盘亘在心理学家、行为学家、哲学家心中的困惑，而大数据时代的统计学家、数据挖掘专家则做出了肯定而乐观的回答。现在，“情感分析”、“预测模型”的应用已经渐入佳境，企业和媒体已经可以通过“情感分析”来确定社交媒体上用户群的态度，而推特（Twitter）甚至在2012年美国大选时对用户每天推文和评论的关键词进行量化跟踪，计算出“政治指数”来判断民心所向。

大数据技术使得人类的态度、情绪、行为等以往认为难以测量的方面，都可以变为数据来进行分析和预测。日常生活里的可量化维度从未得到如此淋漓尽致的挖掘与利用，而数学模型也在更广泛的领域里得到了重视。以往的统计分析强调的是因果关系，而现在的大数据研究更注重相关关系。因果关系的讨论时常不够全面，而对相关关系的把握更能够产生效用。从对“为什么”的疑问到对“是什么”的追寻，这体现了人类对世界的探索和理解有了更丰富的思路。

也许最极端的结论来自全球复杂网络研究权威艾伯特-拉斯洛·巴拉巴西。在一书中，他宣称人类行为93%是可以预测的：“当我们将生活数字化、公式化以及模型化的时候，我们会发现其实大家都非常相似。我们都具有爆发式，而且非常规律。看上去很随意、很偶然，但却极其容易被预测。”“爆发”即指人们的工作、娱乐及其他种种活动都有间歇性，会在短期内突然爆发，然后又几乎陷入沉寂。人类行为并非随机的小概率事件，而是在意向作用下非常规的突变行为。

不论巴拉巴西的理论是否赢得主流的共识，这些发现至少表明，在技术以外，大数据时代向人类昭示出越来越多富有启发意义的世界观和历史观。

大数据时代的隐忧：数据垄断的困境

首先，数据的可接近性并不就使得其使用合乎伦理。大数据为监测和预示人们的生活提供了极大的方便，然而个人隐私也随之暴露在无形的“第三只眼”之下。无论是电子商务、搜索引擎还是微博等互联网服务商都对用户行为数据进行了挖掘和分析，以获得商业利益，这一过程中不可避免地威胁到普通人的隐私。以往人们认为网络的匿名化可以避免个人信息的泄露，然而大数据时代里，数据的交叉检验会使得匿名化失效。许多数据在收集时并非具有目的性，但随着技术的快速进步，这些数据最终被开发出新的用途，而个人并不知情。不仅如此，运用大数据还可能预测并控制人类的潜在行为，在缺乏有效伦理机制下有可能造成对公平、自由、尊严等人性价值的践踏。

其次，越大的数据并非总是越好的数据。对数据的盲目依赖会导致思维和决策的僵化。当越来越多的事物被量化，人们也更加容易陷入只看重数据的误区里。关于数据在何时何地有意义的争议，已经不再局限于“标准化考试是否能够衡量学生素质”之类的讨论，而是拓展到更加广阔的领域。另一方面，如果企业甚至政府在决策过程中滥用数据资料或者出现分析失误，将会严重损害民众的安全和利益。如何避免成为数据的奴隶，已经成为迫在眉睫的问题。

第三，大数据的有限接入产生新的垄断和数码沟。面对大数据，谁能接入？为何目的？在何种情境下？受到怎样的限制？数据大量积累的同时，却也出现了数据垄断的困境。一些企业或国家为了维护自己的利益而拒绝信息的流动，这不仅浪费了数据资源，而且会阻碍创新的实现。与互联网时代的数码沟问题一样，大数据的应用同样存在着接入和技能的双重鸿沟。对于数据的挖掘和使用主要限于那些具有计算机开发和使用背景的专业人士，这也就意味着谁将占据优势、谁会败下阵来，以及由此而来的面对“谁更有权力”的拷问。

进入大数据时代，数据的掌握者们是否会平等地交换数据，促进数据分析的标准化，在数据公开的同时如何与知识产权的保护相结合，不仅涉及到政府的政策，也与企业的未来规划息息相关。