`
lbxhappy
  • 浏览: 303327 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论
文章列表
poi3.8默认情况下,用到的临时目录是系统自带的临时目录,在本次项目中遇到临时目录超限,所以需要修改源代码指定需要设置的临时目录 需要修改的类为:GZIPSheetDataWriter,SheetDataWriter   GZIPSheetDataWriter压缩时候用到,如在构造workbook时: wokbook = new SXSSFWorkbook(new XSSFWorkbook( new FileInputStream(FanExcel2007.TEMPLATE_PATH)), 2000,true); false代表不压缩,默认为False用SheetDataWrite ...
package sina.hive.vipfaninfo; import java.io.File; import java.util.Iterator; import jxl.Workbook; import jxl.write.Label; import jxl.write.WritableSheet; import jxl.write.WritableWorkbook; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.a ...

hbase 导入导出

hbase导入导出第一方案: hbase已经自带了这个命令,下面就说一下怎么使用这个命令 (一)设置环境变量 在hadoop-0.20.2/conf/hadoop-env.sh 中添加 export HBASE_HOME=/home/rain/hbase/hbase-0.90.0 export HADOOP_CLASSPATH=$HBASE_HOME/hbase-0.90.0.jar:$HBASE_HOME:$HBASE_HOME/lib/zookeeper-3.3.2.jar:$HBASE_HOME/conf (二)导出 1)输入命令hadoop-0.20.2/bin/hadoop ...

hive函数大全

1.内置运算符 1.1关系运算符 运算符 类型 说明 A = B 所有原始类型 如果A与B相等,返回TRUE,否则返回FALSE A == B 无 失败,因为无效的语法。 SQL使用”=”,不使用”==”。 A <> B 所有原始类型 如果A不等于B返回TRUE,否则返回FAL ...

JVM配置详解及调优

    博客分类:
  • j2ee
 
堆大小设置 JVM 中最大堆大小有三方面限制:相关操作系统的数据模型(32-bt还是64-bit)限制;系统的可用虚拟内存限制;系统的可用物理内存限制.32位系统下,一般限制在1.5G~2G;64为操作系统对内存无限制.我在Windows Server 2003 系统,3.5G物理 ...
Hadoop Job Scheduler Hadoop的作业调度器,可以以插件的方式加载,常见的作业调度器有三种: 默认调度算法FIFO 计算能力调度算法Capacity Scheduler(Yahoo!开发) 公平份额调度算法Fair Scheduler(Facebook开发) 默认调度算法FIFO 简介: 最早的Hadoop Map/Reduce计算架构中,JobTracker在进行作业调度时使用的是FIFO(First In First Out)算法。所有用户的作业都被提交到一个队列中,然后由JobTracker先按照作业的优先级高低,再按照作业提交时间的先后顺序选择将被执行的作 业。 ...
最近写了个mapReduce进行数据分析,发现数据不合理,想写一个计数器对某些发生异常的记录进行计数,但是查看了《hadoop权威指南》后发现使用的API是1点几 ,在网上搜到的也是1点几的例子,都用到了reporter,但是现在2.0后已经不用他,map 和reduce也是从mapReuce.Mapper或mapReduce.Reducer来继承,一下是使用计数器的例子,map方法内部分代码: if (result == null || result.size()<=0) { context.getCounter("otherKW_count", "rs ...
Hadoop写map/reduce作业开始,就遇到了输入数据是GBK编码的问题,hadoop的writable默认是以utf-8进行编码,如果输入数据时GBK编码的话,则进行转码操作如: String line=new String(value.getBytes(),0,value.getLength(),"GBK"); String line=value.toString();之所以会把GBK编码的输入变成乱码,很关键的一个因素是Text这个Writable类型造成的。初学时,一直认为和LongWritable对long的封装一样,Text类型是String的Writabl ...

WABACUS框架介绍

    博客分类:
  • j2ee
                                                     == WABACUS框架 == 使用Wabacus(The Terminator Of SSH)框架,可以不用编程或极少编程即可实现复杂的数据展示,数据编辑,表单处理等功能,可以将您的开 ...
<p> </p> <p>? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 关于利用百度地图API的使用说明</p> <p>通过百度MAP API,能实现地图位置的标注、区域搜索、范围搜索、附近搜索、公交导航、驾车导航等服务,一下是实现各服务的具体步骤:</p> <p>1、引用地图API的js文件</p> <p>? ? ? ?v代表版本号,v=1.2代表1.2版本,目前最新是1.3</p> <p>? ? ? ?serv ...
                                      jqgrid使用说明   jqGrid 是一个用来显示网格数据的jQuery插件,可以动态的对数据网格的数据进行添加、删除、修改、查询、排序、拖拽等操作,数据源可以是json、xml   官网下载地 ...

JAVA开发性能调优

    博客分类:
  • j2ee
  下面是参考网络资源总结的一些在Java编程中尽可能要做到的一些地方。 1. 尽量在合适的场合使用单例 使用单例可以减轻加载的负担,缩短加载的时间,提高加载的效率,但并不是所有地方都适用于单例,简单来说,单例主要适用于以下三个方面: 第一,控制资源的使用,通过线程同步来控制资源的并发访问; 第二,控制实例的产生,以达到节约资源的目的; 第三,控制数据共享,在不建立直接关联的条件下,让多个不相关的进程或线程之间实现通信。2. 尽量避免随意使用静态变量 要知道,当某个对象被定义为stataic变量所引用,那么gc通常是不会回收这个对象所占有的内存,如
WFetch界面比较简陋,但是已经满足我的一般需求了。想起之前在 Telnet 窗口下边实验边学习用 JavaMail 软件包收发邮件的过程,确实是挺麻烦的。用文本编辑器来来回回查看生成的 .eml文件,还在命令行提示符窗口中等待 SMTP 服务器响应报文…  现在有了这个 WFetch ,可是轻松许多了。当然它也支持连接localhost,而且是默认的。WFetch可以让我们选择各种请求方法,指定 HTTP协议版本等等。下面是我在连接我的上一篇文章所查看到的

BI以及ETL工具简介

    博客分类:
  • BI
一、什么是BI  首先,在网上搜了一下,BI的范围有点大,下面就自己整理一下: 1.商业智能不是一种新技术,而是技术的组合达到一种目的,提供一种解决方案,以帮助企业决策为目的技术及其应用。 2.构成:数据仓库(或数据集市)、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成。 3.涉及的领域:数据仓库、联机分析处理(OLAP)工具和数据挖掘等。       OLAP工具。提供多维数据管理环境,其典型的应用是对商业问题的建模与商业数据分析。OLAP也被称为多维分析。  数据挖掘(Data Mining)软件。使用诸如神经网络、规则归纳等技术,用来发现数据之间的关系,做出基于数据的 ...

linux基础命令

(一)ubuntu 基本命令一:  1、帮助       --help简单的帮助       help command 较详细的帮助       man command 最详细的帮助 2、ls 命令       ls -a 显示全部的文件及文件夹,包括隐藏的文件或文件夹       ls -l 显示较全的文件信息,包括权限、用户、用户组等。       ls --color 显示文件及文件夹,并标有不同的颜色。 3、tab键       tab command 
Global site tag (gtag.js) - Google Analytics