ITeye博客

lbxhappy的博客

lbxhappy · 共 87 篇文章

apache+wsgi+django 部署django程序

1、配置 /etc/httpd/conf.d/vhost.conf NameVirtualHost 172.16.12.61:7778 #指定部署该应用的端口 Listen 7778 <VirtualHost 172.16.12.61:7778> ServerName 172.16.12.61 Alias /nvd3/ /opt/testDjango/jsDemo/nvd3/templates/ #为访问资源路径起个别名 <Directory /opt/testDjango/jsDemo/nvd3/templates> Order deny,allow Allow from all </Di…

2013-12-12 16:45 · 搭建环境 · 评论(0)

JAV 数组 二叉树实现

package com.data.struct.tree.binaryTree; public class ArrayBinTree<T extends Comparable<T>> { /* 树高度 */ private int deepth = 0; /* 存储树结构数据 */ private Object[] arr ; /* 数组大小 */ private int size = 0; public ArrayBinTree(int dpth,T data){ this.deepth = dpth; init(data); } private void init(T data){ th…

2013-08-30 17:29 · 数据结构与算法 · 评论(0)

shell 遍历目录文件并根据文件名和日期匹配度删除文件

shell 遍历目录文件并根据文件名和日期匹配度删除文件 #!/bin/sh basedir="/data/nginx/logs" logdir="${basedir}/app" datestr=`date -d -1day +%Y%m%d` tmpdir="${basedir}/bak/app/${datestr}" echo $tmpdir if [ ! -x "$tmpdir" ]; then mkdir "$tmpdir" -p; fi arr=`ls -l $logdir | grep ^- | awk '{print $NF}' ` for f in $arr do if [ $…

2013-08-29 22:11 · linux · shell 遍历目录文件 日期 · 评论(0)

hive 安装运行权限错误Permission denied: user=hive, access=WRITE,

在安装hive过程中遇到了hive权限错误: : Error in metadata: MetaException(message:Got exception: org.apache.hadoop.security.AccessControlException Permission denied: user=hive, access=WRITE, inode="/":hdfs:hadoop:drwxr-xr-x at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.jav…

2013-07-24 17:10 · 云计算 · 评论(0)

hadoop 源码编译 导入eclipse

hadoop 源码编译 导入eclipse hadoop2版本出来后,突然心血来潮想编译下hadoop2的代码并导入eclipse,以备以后有时间了进行代码研究用,现在总结了下编译过程以及如何导入到elipse。一下是必备条件 hadoop版本:hadoop的尝鲜版release-2.0.3-alpha,svn地址:http://svn.apache.org/repos/asf/hadoop/common/tags JDK1.6 ANT 及ivy,下载ant,配置环境变量,将ivy的下载jar包放到ant的lib目录下,即:%ANT_HOME%/lib mvn3.0 装protoc buff…

2013-04-25 18:23 · 云计算 · 评论(0)

hive null 和空值

hive的数据源是基于hdfs的数据文件,如果文件的某一个字段是空值,那么hive查询出来是什么值呢,具体动手实验了下 数据:2458,24723,1698,226,, 如果在表中字段定义是字符类型,那么查询出的是空值 如果在表中字段定义是数字类型,那么查询出的是NULL值

2013-02-28 09:46 · 云计算 · 评论(0)

MySQL 绿色版安装配置教程

一、下载,这里使用绿色解压缩版 网上搜索mysql绿色免安装版下载即可 二、配置MySQL的参数 1、解压缩绿色版软件到E:\Program Files\mysql-5.1.32 设置系统环境变量 MYSQL_HOME=E:\Program Files\mysql-5.1.32 在Path中添加 %MYSQL_HOME%\bin; 2、修改E:\Program Files\mysql-5.1.32\my-small.ini文件内容,添加红色内容 [client] #password = your_password port = 3306 socket = /tmp/mysql.sock de…

2013-01-07 16:07 · 搭建环境 · 评论(0)

Maven 3 入门 -- 安装与配置

Maven以及其Eclipse插件m2eclipse的安装 (本文参考了Maven实战) 检查JDK的安装以及环境变量的配置 打开cmd echo %Java_Home% java -version 如下图 下载Maven http://maven.apache.org/download.html 我这里安装时最新的3.03版本 安装到本机 1 将下载回来的包解压到任意地址,我的路径是D:\Program Files\apache-maven-3.0.3 2 新建环境变量M2_HOME 指向D:\Program Files\apache-maven-3.0.3 3 在path尾部添加%M2_…

2013-01-06 22:15 · 搭建环境 · 评论(0)

mahout中bayes分类分析—2

2、 模型 以上训练部分的四个job 执行完毕后,整个 bayes 模型就建立完毕了,总共生成并保存三个目录文件: trainer-tfIdf trainer-weights trainer-thetaNormalizer 我们可以将模型从分布式上Sequence 文件导成本地的 txt 文件进行查看。 3、测试 调用类:TestClassifier 所在包:package org.apache.mahout.classifier.bayes; 根据命令行参数会选择顺序执行还是并行map/reduce 执行,这里只分析并行 map/reduce ,执行时会调用 BayesClassifier…

2012-11-27 17:40 · 云计算 · mahout · 评论(0)

mahout中bayes分类分析—1

根据http://blog.163.com/jiayouweijiewj@126/blog/static/17123217720113115027394/进行了bayes学习分析,部分内容做了更改: 首先解释下 TFIDF原理: TF-IDF(term frequency–inverse document frequency)是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法,用以评估一字词对于一个文件集或一个语料库中的其中一份 文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加,但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜寻…

2012-11-26 14:57 · 云计算 · mahout · 评论(0)

谷歌开源 Supersonic 查询引擎

谷歌近日开源了其Supersonic项目。据谷歌描述,Supersonic是一个超快速的、针对列存储数据库 (Column-oriented DBMS)的查询引擎库,使用C++编写。 Supersonic提供了一组大量使用缓存相关算法、SIMD指令和矢量化操作的转换原语,并可以利用现代的超线程 CPU的优势。Supersonic主要被用来作为各种数据仓库项目的后端。它的主要特性包括: 速度: • 缓存意识 • 指令流水线技术 • SIMD使用 • 高效的内存分配 • 自定义数据结构 可靠性 • 故障处理 • 高测试覆盖范围(开发中) 健壮性 • 支持标准的列存储数据库操作 • 广泛的专属表达…

2012-11-21 11:25 · 云计算 · 评论(0)

Cloudera Impala:基于Hadoop的实时查询开源项目

摘要:号外!Cloudera发布了实时查询开源项目Impala!多款产品实测表明,比原来基于MapReduce的Hive SQL查询速度提升3~90倍。Impala是Google Dremel的模仿,但在SQL功能上青出于蓝胜于蓝。 CSDN报道 文/刘江 正在纽约进行的大数据技术会议Strata Conference + Hadoop World传来消息,Cloudera发布了实时查询开源项目Impala 1.0 beta版,称比原来基于MapReduce的Hive SQL查询速度提升3~90倍(详情可以参考此文中的“How much faster are Impala queries t…

2012-11-13 11:08 · 云计算 · 评论(0)

hadoop 运行任务超时

在默认指定的10分钟或具体在配置文件指定的时间内没有报告状态,会出现任务超时的异常,最好的解决办法: 1、设置更长的等待时间 mapred.task.timeout设置该属性 2、增加计数器的值 3、

2012-08-29 15:08 · 云计算 · 评论(0)

Task process exit with nonzero status of 1.

在平时跑mapReduce程序时,经常会遇到这样的错误,网上也有好多针对该错误的解决办法,但是我遇到的并不是因为hadoop环境配置出的错,错误可能会是自己的代码或hadoop资源紧张导致的该错误。我有次log4.xml配置文件有问题也报这个错误,这个问题 挺二的,希望有遇到这种错误的把解决方案奉献下!!!!! java.lang.Throwable: Child Error at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:242) Caused by: java.io.IOException: Task process …

2012-08-28 11:08 · 云计算 · 评论(0)

mahout中bayes分类分析—1

引用:http://blog.163.com/jiayouweijiewj@126/blog/static/17123217720113115027394/ 实现包括三部分:The Trainer(训练器)、The Model(模型)、The Classifier(分类器) 1、训练 首先,要对输入数据进行预处理,转化成Bayes M/R job读入数据要求的格式,即训练器输入的数据是KeyValueTextInputFormat格式,第一个字符是类标签,剩余的是特征属性(即单词)。以20个新闻的例子来说,从官网上下载的原始数据是一个分类目录,下面每个文件夹名就是类标签,里面是属于此类的一些…

2012-08-21 16:18 · mahout · 评论(0)