正在加载...

在当前的互联网领域,大数据的应用已经十分广泛,尤其以企业为主,企业成为大数据应用的主体。大数据真能改变企业的运作方式吗?答案毋庸置疑是肯定的。随着企业开始利用大数据,我们每天都会看到大数据新的奇妙的应用,帮助人们真正从中获益。大数据的应用已广泛深入我们生活的方方面面,涵盖医疗、交通、金融、教育、体育、零售等各行各业。

大数据

目前国内外做大数据的厂商依旧分为两类:一类是现在已经有获取大数据能力的公司,他们打算利用自身优势地位冲击大数据领域,将现有安装基础及产品线口碑推广到新一轮技术浪潮当中。如IBM、微软、谷歌、亚马逊、百度、腾讯、阿里巴巴等互联网巨头以及华为、浪潮、中兴等国内领军企业,涵盖了数据采集,数据存储,数据分析,数据可视化以及数据安全等领域;另一类则是初创的大数据公司,他们依赖于大数据工具,针对市场需求,为市场带来创新方案并推动技术发展。其中大部分的大数据应用还是需要第三方公司提供服务,希望为市场带来创新方案并推动技术发展。

本文将主流的大数据厂商分为大数据基础设施类,大数据分析类,大数据应用类,大数据数据源类等。下面就来盘点下大数据领域国内外的主力阵营吧,其中一些早已名满天下,另外大部分则属初来乍到。

1. 大数据基础设施类

More …

MySQL
MySQL Connector/J Driver
驱动程序包名:MySQL-connector-Java-x.x.xx-bin.jar
驱动程序类名: com.mysql.jdbc.Driver
JDBC URL: jdbc:mysql://<host>:<port>/<database_name>
默认端口3306,如果服务器使用默认端口则port可以省略
MySQL Connector/J Driver 允许在URL中添加额外的连接属性jdbc:mysql://<host>:<port>/<database_name>?property1=value1&property2=value2

PostgreSQL
PostgreSQL Native JDBC Driver
驱动程序包名:驱动程序类名: org.postgresql.Driver
JDBC URL: jdbc:postgresql://<host>:<port>/<database_name>
默认端口5432

Microsoft SQL Server
Microsoft SQL Server JDBC Driver (用来连接 SQLServer 2000)
驱动程序包名:msbase.jar mssqlserver.jar msutil.jar
驱动程序类名: com.microsoft.jdbc.sqlserver.SQLServerDriver
JDBC URL: jdbc:microsoft:sqlserver://<server_name>:<port>
默认端口1433,如果服务器使用默认端口则port可以省略

Microsoft SQL Server 2005 JDBC Driver(用来连接 SQLServer 2005以上版本)
驱动程序包名:sqljdbc.jar
驱动程序类名: com.microsoft.sqlserver.jdbc.SQLServerDriver
JDBC URL: jdbc:sqlserver://<server_name>:<port>
默认端口1433,如果服务器使用默认端口则port可以省略

More …

PS:本人所在的公司使用OpenStack核心开发的私有云也有3年多时间了,感觉比较可惜的是2012年年底做私有云技术选型时部署测试过的CloudStack(以前折腾CloudStack的记录在http://www.ha97.com/index.php?s=CloudStack),现在发现其中国社区网站已经关闭了,也看到今天大公司越来越多基于Openstack构建自己的私有云,Openstack在大型私有云和混合云领域有一统天下之势。今天看到这篇文章比较认同其观点,转载记录一下。

编者按

AWS(Amazon Web Service) 开始于 2006 年 3 月 14 日 Amazon S3 的发布,距今已经有十年的时间了。云计算改变了企业对数据的存储、处理和分析的过程,开启了云计算时代的到来,形成了极其火爆的技术生态圈,受到非常广泛的应用。
在2016年云计算十岁生日之际,InfoQ策划了云计算十年热点系列文章,为大家梳理云计算这十年的变化,技术圈的生态状况,从历史、背景、格局、趋势、机会这5个角度来看云计算时代,回顾以前,激励以后。本文是OpenStack篇。

梦开始的地方

2016年4月OpenStack的峰会即将于美国小镇Austin召开,想起2010年OpenStack首个发行版峰会也是在Austin,很感叹这就像回到了梦想开始的地方。相比起AWS走过的十年之路,OpenStack可以说还算年轻,曾经挑战AWS公有云的雄心壮志已然暗淡,但是这并不能影响OpenStack昂首阔步奔涌向前,成熟的社区机制,活跃的开源社区,商业公司的积极涌入与探索,让我们有理由相信不可预测的未来同样是光明的。

More …

现在机器学习逐渐成为行业热门,经过20多年的发展,机器学习目前也有了十分广泛的应用,如:数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、DNA序列测序、语音和手写识别、战略游戏和机器人等方面。
云栖社区特意翻译整理了目前GitHub上最受欢迎的28款机器学习开源项目,以供开发者参考使用。

1. TensorFlow

28款GitHub最流行的开源机器学习项目

TensorFlow 是谷歌发布的第二代机器学习系统。据谷歌宣称,在部分基准测试中,TensorFlow的处理速度比第一代的DistBelief加快了2倍之多。
具体的讲,TensorFlow是一个利用数据流图(Data Flow Graphs)进行数值计算的开源软件库:图中的节点( Nodes)代表数学运算操作,同时图中的边(Edges)表示节点之间相互流通的多维数组,即张量(Tensors)。这种灵活的架构可以让使用者在多样化的将计算部署在台式机、服务器或者移动设备的一个或多个CPU上,而且无需重写代码;同时任一基于梯度的机器学习算法均可够借鉴TensorFlow的自动分化(Auto-differentiation);此外通过灵活的Python接口,要在TensorFlow中表达想法也变得更为简单。
TensorFlow最初由Google Brain小组(该小组隶属于Google’s Machine Intelligence研究机构)的研究员和工程师开发出来的,开发目的是用于进行机器学习和深度神经网络的研究。但该系统的通用性足以使其广泛用于其他计算领域。
目前Google 内部已在大量使用 AI 技术,包括 Google App 的语音识别、Gmail 的自动回复功能、Google Photos 的图片搜索等都在使用 TensorFlow 。
开发语言:C++
许可协议:Apache License 2.0
GitHub项目地址:https://github.com/tensorflow/tensorflow

More …

虽然此前已经多次提及,但在这里我要再次强调2015年作为云计算全面崛起元年的重要地位,这在很大程度上是因为这一年内出现了众多值得高度关注的大事件——包括戴尔/EMC的合并,而这些标志性事件意味着新的时代已然来临。这是一种直白而决绝的表态,意味着全部传统IT厂商都需要努力争取自己的生存空间,否则必将为历史所淘汰。

这场演进或者说革命则让OpenStack处于非常有趣的定位之上,目前已经有大量“企业级”厂商——从思科到惠普再到IBM——开始将相当比例的资源投入到OpenStack项目的推动工作当中。而Mirantis等新兴厂商亦凭借着英特尔向其投入的1亿美元确立了自己在新生代企业当中的领导地位。此外,红帽公司在这场竞逐当中仍然表现良好,并继续依靠自身强大的Linux发行版牢牢锁定着现有客户群体。

我们还亲眼见证了Platform 9以及Stratoscale等新兴厂商的快速崛起,它们不仅给传统主流企业造成巨大冲击,同时也威胁到了Mirantis及红帽等新生代领导者。因此,考虑到以上状况,2015年绝对是个值得认真回顾的精彩年份。

不过2015年的一切已然“俱往矣”,着眼于2016年做出展望显然更具有现实意义。

我做出的第一项预测就是,作为OpenStack(也包括任何其它云技术)核心服务之一的计算服务将在新一年中发生巨大变化,即由原本的虚拟机管理程序为核心转变为容器加裸机组合模式

事实上,根据最新发布的OpenStack用户调查显示,有31%的受访者将裸机、LXC以及容器以混合方式加以使用。这种方式也成为本届OpenStack东京峰会上的热门新闻,而且OpenStack能够支持一切计算资源的能力也正是其在云技术领域拥有差异化优势的关键所在。值得强调的是,这也与Hedvig公司市场营销副总裁Rob Whiteley的观点不谋而合——他曾在2016年预测中表示Docker将成为OpenStack内的第二大重要虚拟机管理方案。

image04.png

除此之外,2015年当中我们也经历了NFV(即网络功能虚拟化)在OpenStack社区之内的快速崛起,这也是电信与企业IT之间实现大融合的标志性事件之一。
More …

PS:最近一年事情太多,一年多没在博客分享记录了,以后有空还是分享下。

今天测试部署Hadoop 2.6集群,出现一个报错,搜索了下,都说是hadoop配置文件问题,检查了两遍发现没问题,排查怀疑是JDK版本问题,报错的是1.7,后升级安装到1.8后问题解决。

记录一下,报错如下:

解决后:

在 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 里面选择下载jdk-8u66-linux-x64.rpm这个包。

# rpm -Uvh jdk-8u66-linux-x64.rpm
# vim /etc/profile
在最后加入如下配置:

export JAVA_HOME=/usr/java/jdk1.8.0_66
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/usr/lib/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH

保存退出后运行source /etc/profile使其生效。上面也是每一台hadoop节点的JDK环境配置。

注意:其实里面提示的“Unsupported major.minor version 51.0”才是问题关键,51.0是JDK1.7的Class版本号,这里提示就是不支持JDK1.7的意思。

我查询了官方文档,JDK版本号和Class版本号对应表如下:

JDK 1.8 = 52
JDK 1.7 = 51
JDK 1.6 = 50
JDK 1.5 = 49
JDK 1.4 = 48
JDK 1.3 = 47
JDK 1.2 = 46
JDK 1.1 = 45

Odoo 9.0 于2015.10.01日发布。Odoo 9.0 以后有了社区版和企业版两个版本。官方说企业版是在社区版的基础上增加了一些企业版特有的模块。那么 Odoo 9.0 企业版、社区版、Odoo 8.0 有什么具体的功能区别呢,请看下面的表格:

odoo 8.0 VS odoo 9.0社区版&企业版功能对比

服务 Odoo 8 Odoo 9 社区版 Odoo 9 企业版
社区论坛
可升级到新版本
Bug修复承诺
支持
       
功能   Odoo 9 社区版 Odoo 9 企业版
会计      
基本会计 改善 改善
会计报表 静态 静态 动态
报表导入: Coda 改善 改善
会计仪表盘
银行接口 (U.S., NZ, Canada)
报表倒入: OF有, QIF
支票打印 & 存款
客户催款 基本 基本 改善
       
用户界面      
桌面用户 改善 改善
安卓客户关系管理 CRM
Mobile UI手机UI
新的设计
       
项目管理 Odoo8 Odoo9社区版 Odoo9企业版
任务 改善 改善
问题 改善 改善
Timesheets计工单 Former version 改善 改善
计工单 Chrome 插件plugin & 手机 app
预测
       
销售管理      
CRM 改善 改善
Sales 改善 改善
合同 Former version 改善 改善
客户入口 改善
电子签名
Subscriptions订阅
数字产品
       
人力资源      

假期 改善 改善
员工名录 改善 改善
招聘 改善 改善
评估 Former version 改善 改善
部门仪表盘
       
WMS      
库存管理 改善 改善
条形码 Former version 改善 改善
整合 UPS, Fede有, DHL, USPS
公司之间的规则
       
网站建设      
Website Builder网站建设 改善 改善
Blog博客 改善 改善
Form builder表单设计
Call-to-Actions Blocks
Versioning 版本控制
A/B Testing
       
eCommerce电子商务      
完整的电子商务 改善 改善
Authorize.net 集成
运输集成
eBay 接口
Amazon 接口
优惠折扣
       
Point of Sale      
Point of Sale
Point of Sale for餐厅
会员卡
       
Marketing      
Events 活动 改善 改善
E有penses 费用 改善 改善
Mass mailing 邮件群发 改善 改善
Mass Mailing Templates 邮件群发模板
Live Chat 即时通讯 改善 改善
       
Misc 杂项      
Usability improvements 易用性

Google Spreadsheet 谷歌电子表格
Document Management (slides) 文档管理(幻灯片)
Planner (first weeks onboarding)规划
Reporting 报表 改善 改善

PS:最近想了解下合适中小企业使用的ERP系统,研究了几款主流的开源ERP系统以及了解下SAP、Oracle EBS等大型ERP系统,开源ERP里Odoo(以前叫OpenERP)是最有名的,听说在欧洲广泛使用。功能确实非常强大,默认有中文语言包,使用Python开发,数据库用了PostgreSQL,缺点是不支持MySQL。官方有yum源,在CentOS 7.x里使用yum安装部署比较快速,但如果稍不注意细节,可能就会安装出错,简要记录如下:

简介:OpenERP是一款自由开源的传统的OpenERP(企业资源规划),它包含了开源CRM、网站构建、电子商务、项目管理、计费账务、POS、人力资源、市场、生产、采购管理以及其它模块用于提高效率及销售。Odoo中的应用可以作为独立程序使用,它们也可以无缝集成到一起,因此你可以在安装几个程序来得到一个全功能的开源ERP。

安装Odoo步骤:

1、安装 PostgreSQL

首先需要更新CentOS 7.x的软件包到最新版本。
# yum update -y

接着安装PostgreSQL,因为Odoo使用PostgreSQL作为它的数据库。(这个数据库我不熟,在国内也很少用,要支持MySQL要做二次开发修改大量代码)

# yum install postgresql postgresql-server postgresql-libs -y

More …