`
hududumo
  • 浏览: 239114 次
文章分类
社区版块
存档分类
最新评论
文章列表
1,确保创建索引 $HADOOP_HOME/bin/hadoopjar$HADOOP_HOME/lib/hadoop-lzo-0.4.10.jar com.hadoop.compression.lzo.DistributedLzoIndexer /user/hive/warehouse/flog 2,创建hive表时需要在后面指定format格式 SETFILEFORMAT INPUTFORMAT "com.hadoop.mapred.DeprecatedLzoTextInputFormat" OUTPUTFORMAT "org.apache.hado ...
本文介绍了Facebook公司数据分析系统中的RCFile存储结构,该结构集行存储和列存储的优点于一身,在MapReduce环境下的大规模数据分析中扮演重要角色。 Facebook曾在2010 ICDE(IEEE International Conference on Data Engineering)会议上介绍了数据仓库Hive。Hive存储海量数据在Hadoop系统中,提供了一套类数据库的数据存储和处理机制。它采用类SQL语言对数据进行自动化管理和处理,经过语句解析和转换,最终生成基于Hadoop的MapReduce任务,通过执行这些任务完成数据处理。图1显示了Hive数据仓 ...
一、事务概念 事务是一种机制、是一种操作序列,它包含了一组数据库操作命令,这组命令要么全部执行,要么全部不执行。因此事务是一个不可分割的工作逻辑单元。在数据库系统上执行并发操作时事务是作为最小的控制单元来使用的。这特别适用于多用户同时操作的数据通信系统。例如:订票、银行、保险公司以及证券交易系统等。 二、事务属性 事务4大属性: 1 原子性(Atomicity):事务是一个完整的操作。 2 一致性(Consistency):当事务完成时,数据必须处于一致状态。 3 隔离性(Isolation):对数据进行修改的所有并发事务是彼此隔离的。 4 持久性(Durability):事务完 ...
using System; using System.Collections.Generic; using System.Linq; using System.Web; using System.Web.UI; using System.Web.UI.WebControls; using System.Text; using System.Data; using System.Data.SqlClient; using System.Xml; using System.Xml.Linq; namespace LinqDemo { public partial ...
MapReduce 编程模型简介 随着信息化的进一步加深,在各个领域,如电信、交通、金融、零售、航天、医药等,数据量级都呈现快速增长趋势。如何高效并且无误地存储、分析、理解以及利用这些大规模数据,成为一个关键性问题。 为了应对大规模数据处理的难题,MapReduce 编程模型应运而生。Google 提出的这一模型,由于良好的易用性和可扩展性,得到了工业界和学术界的广泛支持。Hadoop,MapReduce 的开源实现,已经在 Yahoo!, Facebook, IBM, 百度 , 中国移动等多家单位中使用。 MapReduce 编程模型 MapReduce 以函数方式提供了 Map 和 ...
主要步骤: 1,安装和更新gcc、ant(系统已经安装的话,略去下面步骤) yum -y install gcc gcc-c++ autoconf automake wget http://labs.renren.com/apache-mirror//ant/binaries/apache-ant-1.8.2-bin.tar.gz tar -jxvf apache-ant-1.8.2-bin.tar.bz2 export ANT_HOME=/usr/local/apache-ant-1.8.2 vi /etc/profile source /etc/profile expo ...
方式一: nginx cronolog日志分割配置文档,根据下面方法,每分钟分割一次NGINX访问日志。 1.nginx日志配置 access_log access_log /data/access_log_pipe main; 2.先创建一个命名管道 mkfifo /www/log/access_log_pipe 3.配置cronolog: nohup cat /data/a ...
我的2011,有过希望有过失望,有过冲动有过麻木;有欢笑也有泪水,有收获也有付出;继续走继续迷失,2011,我在迷惘中成长。 2011对我来说是很平淡的一年,一个人走过,一路的艰辛,但总归还是有收获的,让我懂 ...
参加Hadoop in China2011已经是两周前的事了,由于最近比较忙也没有对参会的内容进行总结。 大会分两天进行,上午基本上是大礼堂主题演讲,下午是各个技术方向的讲座。通过讲座对hadoop生态系统有了一个全面的了解: Hive : hive是一个基于Hadoop文件系统上的数据仓库架构。它为数据仓库管理提供了数据ETL(抽取,转化和加载)工具,数据存储管理和大型数据集的查询与分析能力 可以将结构化的数据文件映射为一张数据库表,并提供完整的HQL(类SQL)查询功能,可以将HQL语句转换为MapReduce任务进行运行。 Hbase: 一个高可靠性、高性能、面向列 ...
2011年11月26有幸受邀参加了csdn组织的TUP 大数据大会,小小的总结一下。 这次会议是在三元桥附近举行,参会人员很多,大会主要议题是大数据处理方面的技术,主要技术涉及hadoop,nosql等海量数据处理技术。上午涉及议题主要内容: HCE,批量计算mapreduce,MPI Redis应用 R语言 MongoDB处理金融数据:(基金持仓数据,机构评级报告,新闻资讯,交易龙虎榜,盘口数据,成交明细,成交统计,财务指标,经济数据) BeachMark 下午涉及议题主要内容: OceanBase ssd 离 ...
...
之前写过一篇文章: 浅谈Oracle学习方法 http://blog.csdn.net/<wbr>tianlesoftware/article/<wbr>details/5448689</wbr></wbr> 这里不谈Oracle,只谈学习方法。 常说师傅领进门,修行靠个人。 研究Oracle 需要靠自己的学习,需要多花时间来研究,我玩Oracle 的这几年,大部分都是自己研究的, 当然也有很多人给过我帮助。 这里非常感谢他们。 一. 当我们在学习过程中遇到问题时,怎么办? 1. 查看官方文档 http://tahiti.orac ...
IE9 会自动检测你机器上GPU。 如果GPU存在,IE9会自动开启GPU硬件加速。所以你不用做任何设置。 如何判断IE9已经开启GPU硬件加速: 打开"Internet 选项", 在“高级”标签页里面,可以看到 "加速的图形: 使用软件呈现而不用使用GPU呈现"。 如果这个选项不打钩,说明GPU硬件加速开启。 否则,GPU加速被关闭。 中文版选项: 这个选项如果是灰色(无法修改状态),说明你机器上没有GPU ,显卡太老了,赶快升级你的显卡吧 :-) 英文版选项:
IE9今天正式发布!这是IE历史上最重要的发布之一,因为IE不但革命性地将GPU硬件加入浏览器,使网页渲染速度有了一个质的飞跃;而且在浏览速度、支持标准、简化界面等几个用户重点关注的领域打了一个漂亮翻身战,从最后一名变成了数一数二。IE团队很自豪的对业界宣布,We are back in the browser game! 正式版的版本号为:9.0.8112.16421 IE9中文版官方下载地址: IE9正式版 for Windows7 32位下载: http://download.microsoft.com/download/4/C/A/4CA9248C-C09D ...
"屏幕取词"是词典软件(如:金山词霸)里面一个必要功能。在IE9中,由于使用Direct2D接口取代GDI做页面渲染,原来基于GDI接口的屏幕取词技术将无法继续正常工作。 因此,如果你的软件用到了屏幕取词相关技术,需要针对IE9做调整。 建议的解决方案: 使用UI AutomationAPI。微软有一个开源工具UIA Verify是基于UI Automation API的,该程序也有一个取词功能(菜单Mode -> Hover Mode),可以参考看看它的实现方法。 UIA Verify 程序的取词功能: UIA Verify成功在IE ...
Global site tag (gtag.js) - Google Analytics