chakey
- 浏览: 359979 次
- 性别:
- 来自: 水星
-
最新评论
-
mafuli007：
【6】MongoDB数据导入和导出 -
xchd：
<div class="quote_title ...
Hive HBase整合使用 -
shanxu9198：
geilivable
HBase的数据模型 -
johnnyzuo：
不起作用。希望LZ以后自测后再发，这样很容易误导初学者
hadoop自动清除日志文件的配置方法 -
hongzhi0618：
你好，我到这一步的时候，echo "test mes ...
[4] Scribe使用例子3
文章列表
1 mkdir .ssh
2 cd .ssh
sudo chmod 700 . //这一步很重要
3 ssh-keygen -t rsa
4 cat rsa_d.pub >> authorized_keys
当然也可以： cp rsa_d.pub authorized_keys
5 chmod 644 authorized_keys //这一步很重要
pg配置参数的性能优化：
PostgreSQL的配置文件是数据库目录(/opt/PostgresPlus/8.3/data)下的 postgresql.conf文件， 8.0以后的版本可支持K，M，G这样的参数，只要修改相应 参数后重新启动PostgreSQL服务就OK了。
shared_buffers：这是最重 ...
x86_64 系统
报错信息如下:
--
RIP [<address>] rt_check_expire+0xb3/0x15d
RSP <address>
CR2: address
<0>Kernel panic - not syncing: Faltal excption
--
每隔一段数据,会宕机一次.
查看资料说一般是硬件问题:例如CPU散热片松了,需要关闭报错信息所指向的硬件如显卡\Hyper-Threading (HT)\USB\声卡等等.
解决办法是:
先查看错误代码中的信息，找到错误所指向的硬件，将其禁用。系统启动后，安装好相应的驱 ...
CentOS
外部ping不了
显示器显示：
sd 0:2:0:0 rejectintg I/O to offline device
sd 0:2:0:0 rejectintg I/O to offline device
sd 0:2:0:0 rejectintg I/O to offline device
sd 0:2:0:0 rejectintg I/O to offline device
这个信息是不会记录到系统的日志中的，因为发生这个时候机器已经冻结住了。
报这个错误，说明机器的硬盘快不行了。
有人说是内核的问题，不过升级内核后，还发生这个问题的情况依旧很多。
只能减少服务器的负荷，准 ...
远程连接是可以连接上的，但是使用键盘登录是不可以的
原因是 系统是64位的
vi /etc/pam.d/login
session required /lib64/security/pam_limits.so [这个是64位的]
如果是32位的则换为：
session required /lib/security/pam_limits.so [这个是32位的]
方法一：
1:
yum install -y ntp
2:
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
3:
ntpdate us.pool.ntp.org
4:
查看一下：
date
使用ftp服务需求停止防火墙
service iptables stop
方法二：
centos 系统时间同步
1：必须是root下进行
2：安装ntp
$yum install ntp
3: 时间同步
注意：必须是从root登陆的才行，用sudo -s 和 su -是不行的
$ntpdate time.windows.time
4: 查看当 ...
步驟一：下载文件
对于32位的linux
$ curl http://downloads.mongodb.org/linux/mongodb-linux-i686-1.4.4.tgz > mongo.tgz
$ tar xzf mongo.tgz
对于64位的linux
$ curl http://downloads.mongodb.org/linux/mongodb-linux-x86_64-1.4.4.tgz > mongo.tgz
$ tar xzf mongo.tgz
如果没有安装curl
先安装apt-get install curl
步驟二：创建数据文件夹
默认情况下 ...
从Windows上查看Linux下的文件目录
yum install samba
配置 /etc/samba/smb.conf
services smb status
smbpasswd -a 用户名 #添加samba用户
smbpasswd -e 用户名 #激活用户
配置EditPlus编译Python
1.先到www.editplus.com上下载editplus.exe，一步一步安装就好了，只有30天的试用期。
2.来配置python环境，到www.editplus.com 上下载python配置环境，要下载对应的版本啊。
1)：打开editplus，工具--》首选项--》用户工具
点击组名称，工具组1重命名为python
菜单文本：python
命令行：python的安装位置
参数： $(FileName)
初始目录：$(FileDir)
#上面的这几步是为了让editplus找到python的环境和运行文件的路径
点击捕获输出，输入 ...
1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2个文件。/etc/security/limits.confvi /etc/security/limits.conf加上：* soft nofile 102400* hard nofile 409600$cd /etc/pam.d/$sudo vi login添加 session require ...
Hadoop框架中最核心的设计就是：MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的，简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的缩写 ...
1:
将原有的hive改名为hive_backup2:
将原有hive中的conf文件夹全部复制到新版本hive中3：
修改hive-conf.sh 文件 添加HADOOP_HOME 4：
相关第三方的包要转移到新的hive版本lib目录下5：
首先要把之前的10000端口对应的线程kill掉，然后 $HIVE_PORT=10000 bin/hive --service hiveserver
1：运行dfsadmin -upgradeProgress status 检查是否存在备份 如果是第一次升级 就不存在备份2：备份dfs.namenode.dir下文件3：停止所有节点 bin/stop-all.sh4：在所有节点上重新部署hadoop 并替换conf文件夹下所有文件（就是将原有的hadoop-0.19.1更名为hadoop-0.19.1-oldverstion,然后解压hadoop-0.19.2.tar.gz 将0.19.2中的conf文件替换为0.19.1中的conf文件夹）注意：HADOOP_HOME设置；fairscheduler.jar包要从contri中转移到lib下 ...
cruisecontrol 持续集成工具配置
重要网址：
下载地址：http://cruisecontrol.sourceforge.net/download.html
配置参考：http://cruisecontrol.sourceforge.net/main/configxml.html#svn
通过svn获得需要编译的代码
建立用户control 专门用于构建
解压cruisecontrol-bin-2.8.2.zip
控制台中在projects文件下执行
svn http://svn.rdev.kingsoft.net/wpsng/tracker/operation/codin ...
Hadoop Configuration
新增hadoopuser用户
[root@noc rou]# adduser
bash: adduser: command not found
[root@noc rou]# cd /usr/bin/
[root@noc bin]# ln -s /usr/sbin/adduser adduser
[root@noc bin]# adduser hadoopuser
passwd wpsop
修改系统允许打开的文件数
有时候在程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -n可以看到）对于正常使用是够了，但是对于程序 ...