Hadoop的pid配置

作者: Peltason   
11月 3rd,
2008

今天发现一个问题,当hadoop集群运行一段时间以后,无法停止服务。执行stop-all的时候提示no tasktracker to stop ,no datanode to stop。而当我把所有节点手动kill掉以后,执行start-all和stop-all均没有问题。在邮件群组里问了一下,最后结论如下:

stop-all.sh会调用stop-mapred.sh和 stop-dfs.sh去停止jobtracker, tasktrackers; namenode, datanodes。

Jobtracker和namenode的停止是在本地通过调用hadoop-daemon完成的,而tasktracker,和datanode的停止是通过调用hadoop-daemons来完成的。Hadoop-daemon实质上是ssh到每一个slave去执行一个当地的hadoop-daemon命令,比如:hadoop-daemon stop datanoade。

Hadoop-daemon  stop command会通过kill -0 `cat command.pid` 来测试进程是否存在,如果这个测试中有错误产生,就会报”no command to stop ”。

  • 可能原因:pid文件丢了,导致hadoop-daemon.sh stop XXX时找不到进程号。
  • 解决办法:默认pid文件放在/tmp目录下,不太安全。可以在conf/hadoop-env.sh里设置HADOOP_PID_DIR 境变量改变 pid文件的存放目录。

最后我增加上了pid的路径配置,这下应该没有问题了

家里新来的小东西

作者: Peltason   
10月 10th,
2008

因为从来没养过宠物,所以打算经历一下,因为空间有限,我怕狗狗太臭,所以决定养只猫咪。原本打算淘宝上买一只,后来在爱猫论坛上看到有人发帖寻人领养猫咪,于是便有了今天的这个小家伙–歪歪

点击查看更多 »

国庆记事

作者: Peltason   
10月 6th,
2008

  国庆节回了趟家,来回总共坐了23个小时的火车。在家里好好陪了陪妈妈。以前的六个兄弟有三个都领证了,吃足了羊肉串,跟大牙喝了酒,飞飞开车带我去吃大盘鸡,在他家里给我表演茶道,灌了我一肚子茶水,完了问我:”要不要再来一泡?”

推荐一个WebGame

作者: Peltason   
09月 9th,
2008

  最近迷上了urban rivals,真的很好玩,法国的卡片对战游戏,让我想起了以前看的漫画JOJO冒险第二部里打迪奥前的那些敌人,每人都对应一张卡片,拥有一项技能。
  这个游戏可玩性很强,有点像田忌赛马一样,猜测对手的出牌心理。游戏是用flash做的,网上大量用了ajax技术,做的很好,卡片的画风非常棒,每升一级卡片的样子都会变化。
  因为是法国网站,国内访问有点慢,但是用代理就比较快了,我用自由门软件,很方便。

urban rivals官方网站

国内urban rivals论坛

去掉Wordpress的修订版本功能

作者: Peltason   
09月 9th,
2008

  今天整理博客数据库的时候忽然发现wordpress会自动产生很多文章的备份版本,这个对于我来说根本没什么用,而且会产生很多冗余数据,打算去掉,网上查了查,发现只要在wp-setting.php中加入这样的代码:


  define(’WP_POST_REVISIONS’, false);


  关于 WP_POST_REVISIONS 这个变量的详细设置为:


  true(默认)或者 -1:保存所有修订版本
  false 或者 0:不保存任何版本(除了自动保存的版本)
  大于 0 的整数 n:保存 n 个修订版本(+1 只保存自动保存版本),旧的版本将被删除。


  最后在数据库执行delete from `你的post表名` where post_type like ‘version’ ;
把以前所有的备份删除。

再推荐一个博客离线编辑器Zoundry Raven

作者: Peltason   
09月 3rd,
2008

  之前说了Windows Live Writer,可是我自己用着确实不爽,光是安装的时候就出了一堆问题,最好总算装好了,不知道怎么,速度特别慢,最主要的就是它太傻瓜了。也许是因为我本身就是一个程序员,我非常反感那种非常智能化(也可以叫做傻瓜化)的工具,因为我无法知道它到底背着我做了些什么。我倾向于那种功能简单,手动功能强的软件。这就是为什么我选择单反,而不选择DC。

  其实我并不是说智能化不好,只是这种东西对于我不合适而已。Zoundry Raven我也是刚用,但是给我的感觉很简洁,没有很花哨的东西。我不想用在线编辑器的原因就是在线的编辑器对于文本的格式控制都不是很好,比如换行,空格之类的经常会出现莫名其妙的问题,而这点离线编辑器就做得比较好,说白了就是比较容易排版。

  Zoundry Raven现在有中文版了,到这里 下载

最近用crontab配置了一个定时任务来跑groovy脚本,发现控制台输出的中文都是乱码,我的groovy程序是用shell脚本来执行的,而直接运行shell脚本则没有乱码问题。原来是因为crontab启动的时候很多用户的环境变量都不会加载,而系统编码的设置估计也没加载,于是在 shell脚本中添加了引入编码:

LANG=zh_CN.GBK

export LANG

这样就ok了!

山寨版周杰伦技工学校广告

作者: Peltason   
09月 2nd,
2008

  今天在新浪上看到的,被雷死了。。。以前看过那个”杰出品质,无与伦比”的手机广告里的假周杰伦,这次的更猛,我发现这种技校的广告都很牛逼,以前收音机里也是这种技校广告铺天盖地的。

我常用的Firefox插件

作者: Peltason   
09月 2nd,
2008

自从Firefox3推出以后,就一直在持续使用Firefox,以前也用,但是觉得3.0之前的版本不稳定,我的cpu经常会飚到100%,应该是flash播放的问题,3.0版本感觉稳定多了,所以现在很少用IE,偶尔需要用到的时候(比如网上银行之类的),就用IETab插件就可以了。

今天据说Google也要推出浏览器了,叫Google Chrome,由于时差的原因,这会还没放出,我也没用到。顺便写几个自己常用的Firefox插件。

IETab 下载

比较经典的插件,在firefox的窗口里实现IE内核的切换,很方便,不用开两种浏览器,从Firefox 2.0的版本就一直在用。

Foxmarks下载

书签同步工具,提供收藏夹的服务器端存储和同步功能,这样我就可以很方便地同步公司和家里的Firefox的收藏夹了,很实用。需要注册一个foxmarks的账号,以后每次firefox启动的时候会自动登录,就可以很方便地实现同步。

SearchAll下载

Yahoo 4E团队开发的插件,上次和他们的技术交流会上他们推荐的,后来用了确实不错,会在Firefox上增加一个搜索栏,输入关键字可以在一个窗口同时列出百度、google、yahoo的搜索结果,可以同时翻页,很实用

用Windows Live Writer写WordPress

作者: Peltason   
08月 29th,
2008

本来想找个好点的文章编辑器插件,没想到找到了Windows Live Writer,其实这个软件我很早就用过,那时候是用来写Blogger的,不过支持不是很好,后来不用blogger了,就没碰过这个东西。(微软的Live Space是垃圾)

客户端的东西就是好,不过这会还没适应,不过微软的客户端工具还是没啥说的

注:今天在公司安装的时候总是提示window live suite安装失败,查了很多分方法,终于解决,只要在cmd下面输入”for %1 in (%windir%\system32\*.dll) do regsvr32.exe /s %1″(不要双引号)命令即可。本质上就是把你所有的dll都重新不提示地注册一遍。如果成功的话就有命令滚动刷屏,不成功就什么都不干。我第一次试就没成功。如果不成功,就跑到C:\Windows\System32目录下输入”for %1 in (*.dll) do regsvr32.exe /s %1″(没有双引号).

现在发现其实有很多blog离线发布工具。。