shell定时采集数据到hdfs -云顶集团官方网站入口

　　上线的网站每天就会形成日志数据。假如有这样的需求：要求在晚上 24 点开始操作前一天形成的日志文件，准实时上传至 hdfs 集群上。

　　该怎样实现？实现后能够实现周期性上传需求？如何定时？

　　linux crontab: :

　　crontab -e

　　0 0 * * * /shell/ uploadfile2hdfs.sh //每晚晚上 12：00 执行一次

　　实现流程

　　一般日志文件生成的逻辑由业务系统决定，比如每小时滚动一次，或者一定大小滚动一次，避免单个日志文件过大不便捷操作。

　　比如滚动后的文件命名为 access.log.x,其中 x 为数字。正在进行写的日志文件称作 access.log。这样的话，如果日志文件后缀是 1\2\3 等数字，则该文件满足需求可以上传，就把该文件联通到打算上传的工作区间目录。工作区间有文件以后，可以使用 hadoop put 命令将文件上传。

　　在服务器上创建目录

　　#日志文件存放的目录

mkdir -r /root/logs/log/

#待上传文件存放的目录

mkdir -r /root/logs/toupload/

　　编写shell脚本

　　vi uploadfile2hdfs.sh

　　#!/bin/bash

#set java env

export java_home=/export/servers/jdk1.8.0_65

export jre_home=${java_home}/jre

export classpath=.:${java_home}/lib:${jre_home}/lib

export path=${java_home}/bin:$path

#set hadoop env

export hadoop_home=/export/servers/hadoop-2.7.4

export path=${hadoop_home}/bin:${hadoop_home}/sbin:$path

#日志文件存放的目录

log_src_dir=/root/logs/log/

#待上传文件存放的目录

log_toupload_dir=/root/logs/toupload/

#日志文件上传到hdfs的根路径

date1=`date -d last-day %y_%m_%d`

hdfs_root_dir=/data/clicklog/$date1/

#打印环境变量信息

echo "envs: hadoop_home: $hadoop_home"

#读取日志文件的目录，判断是否有需要上传的文件

echo "log_src_dir:"$log_src_dir

ls $log_src_dir | while read filename

do

if [[ "$filename" == access.log.* ]]; then

# if [ "access.log" = "$filename" ];then

date=`date %y_%m_%d_%h_%m_%s`

#将文件移动到待上传目录并重命名

#打印信息

echo "moving $log_src_dir$filename to $log_toupload_dir"xxxxx_click_log_$filename"$date"

mv $log_src_dir$filename $log_toupload_dir"xxxxx_click_log_$filename"$date

#将待上传的文件path写入一个列表文件willdoing

echo $log_toupload_dir"xxxxx_click_log_$filename"$date >> $log_toupload_dir"willdoing."$date

fi

done

#找到列表文件willdoing

ls $log_toupload_dir | grep will |grep -v "_copy_" | grep -v "_done_" | while read line

do

#打印信息

echo "toupload is in file:"$line

#将待上传文件列表willdoing改名为willdoing_copy_

mv $log_toupload_dir$line $log_toupload_dir$line"_copy_"

#读列表文件willdoing_copy_的内容（一个一个的待上传文件名） ,此处的line 就是列表中的一个待上传文件的path

cat $log_toupload_dir$line"_copy_" |while read line

do

#打印信息

echo "puting...$line to hdfs path.....$hdfs_root_dir"

hadoop fs -mkdir -p $hdfs_root_dir

hadoop fs -put $line $hdfs_root_dir

done

mv $log_toupload_dir$line"_copy_" $log_toupload_dir$line"_done_"

done

　　设置执行权限

　　chmod 777 uploadfile2hdfs.sh

　　在/root/logs/log/ 添加测试文件执行脚本

　　./uploadfile2hdfs.sh

　　在/root/logs/toupload/ 及hdfs的webui中查看现象

　　转载于:

       优采云采集器是一个根据用户提供的关键词，云端自动采集相关文章并发布到用户网站的网站采集器。它能够自动识别各种网页上的标题、正文等信息，不需要用户编写任何采集规则就可以实现全网采集。采集到内容后，会自动计算内容与所设定的关键词的相关度，只把相关的文章推送给用户。支持标题前缀、关键词自动加粗、插入固定链接、自动提取tag标签、自动内链、自动配图、自动伪原创、内容过滤和替换、电话号码和网址清理、定时采集、百度主动提交等一系列seo功能。用户只需设置好关键词和相关需求，就能实现全托管、零维护的网站内容更新。不限网站数量，不管是单个网站还是大批量站群，都可以非常方便的进行管理。