centos7搭建离线下载服务器

很多冷门资源不想挂机下载?很多小姐姐视频网盘不给离线?在程序猿面前,这些问题不存在的!一番搜索后发现方法还是比较多的

利用Windows服务器

云服务器安装迅雷进行下载再取回本地,但是带宽价格是硬伤,但是我们可以利用第三方储存的免费额度达到下载提速的效果,以腾讯云为例购买1H1M1G的服务器安装迅雷下载资源,然后利用官方提供的同步工具同步到对象储存(每月有10G的免费流量额度),然后用对象储存提供的外链即可满速下载doge:

不够酷炫?可以试试linux+aria2组合

aria2是用于下载文件的实用程序。支持的协议是HTTP(S),FTP,SFTP,BitTorrent和Metalink。aria2提供了

RPC接口,配合webui-aria2可在web对资源进行管理。

overview.png

因为Rpmforge已经放弃维护了,yum安装aria2的方法已经走不通了,唯有上编译大法了,Aria2要求gcc 4.8以上的版本才能编译,然而Centos6源里的gcc版本才4.4,所以本次采用centos7x64作为运行系统。

安装GCC、GCC-C++

yum -y install gcc  
yum -y install gcc-c++

下载安装aria2

wget https://github.com/aria2/aria2/releases/download/release-1.32.0/aria2-1.32.0.tar.gz
tar xzf aria2-1.32.0.tar.gz
cd aria2-1.32.0
./configure
make&&make install

配置Aria2

创建配置文件

mkdir /etc/aria2/
vim /etc/aria2/aria2.conf
  • 完整选项说明请参考 Aria2 Manual

  • 参数 --dir --input-file --save-session 根据实际情况修改路径

  • 配置示例, 可根据需要修改各项参数

## '#'开头为注释内容, 选项都有相应的注释说明, 根据需要修改 ##
## 被注释的选项填写的是默认值, 建议在需要修改时再取消注释  ##

## 文件保存相关 ##

# 文件的保存路径(可使用绝对路径或相对路径), 默认: 当前启动位置
dir=~/downloads
# 启用磁盘缓存, 0为禁用缓存, 需1.16以上版本, 默认:16M
#disk-cache=32M
# 文件预分配方式, 能有效降低磁盘碎片, 默认:prealloc
# 预分配所需时间: none < falloc ? trunc < prealloc
# falloc和trunc则需要文件系统和内核支持
# NTFS建议使用falloc, EXT3/4建议trunc, MAC 下需要注释此项
file-allocation=none
# 断点续传
continue=true

## 下载连接相关 ##

# 最大同时下载任务数, 运行时可修改, 默认:5
max-concurrent-downloads=1
# 同一服务器连接数, 添加时可指定, 默认:1
max-connection-per-server=5
# 最小文件分片大小, 添加时可指定, 取值范围1M -1024M, 默认:20M
# 假定size=10M, 文件为20MiB 则使用两个来源下载; 文件为15MiB 则使用一个来源下载
min-split-size=10M
# 单个任务最大线程数, 添加时可指定, 默认:5
split=5
# 整体下载速度限制, 运行时可修改, 默认:0
#max-overall-download-limit=0
# 单个任务下载速度限制, 默认:0
#max-download-limit=0
# 整体上传速度限制, 运行时可修改, 默认:0
#max-overall-upload-limit=0
# 单个任务上传速度限制, 默认:0
#max-upload-limit=0
# 禁用IPv6, 默认:false
disable-ipv6=true

## 进度保存相关 ##

# 从会话文件中读取下载任务
input-file=/etc/aria2/aria2.session
# 在Aria2退出时保存`错误/未完成`的下载任务到会话文件
save-session=/etc/aria2/aria2.session
# 定时保存会话, 0为退出时才保存, 需1.16.1以上版本, 默认:0
#save-session-interval=60

## RPC相关设置 ##

# 启用RPC, 默认:false
enable-rpc=true
# 允许所有来源, 默认:false
rpc-allow-origin-all=true
# 允许非外部访问, 默认:false
rpc-listen-all=true
# 事件轮询方式, 取值:[epoll, kqueue, port, poll, select], 不同系统默认值不同
#event-poll=select
# RPC监听端口, 端口被占用时可以修改, 默认:6800
#rpc-listen-port=6800
# 设置的RPC授权令牌, v1.18.4新增功能, 取代 --rpc-user 和 --rpc-passwd 选项
#rpc-secret=<TOKEN>
# 设置的RPC访问用户名, 此选项新版已废弃, 建议改用 --rpc-secret 选项
#rpc-user=<USER>
# 设置的RPC访问密码, 此选项新版已废弃, 建议改用 --rpc-secret 选项
#rpc-passwd=<PASSWD>

## BT/PT下载相关 ##

# 当下载的是一个种子(以.torrent结尾)时, 自动开始BT任务, 默认:true
#follow-torrent=true
# BT监听端口, 当端口被屏蔽时使用, 默认:6881-6999
listen-port=51413
# 单个种子最大连接数, 默认:55
#bt-max-peers=55
# 打开DHT功能, PT需要禁用, 默认:true
enable-dht=false
# 打开IPv6 DHT功能, PT需要禁用
#enable-dht6=false
# DHT网络监听端口, 默认:6881-6999
#dht-listen-port=6881-6999
# 本地节点查找, PT需要禁用, 默认:false
#bt-enable-lpd=false
# 种子交换, PT需要禁用, 默认:true
enable-peer-exchange=false
# 每个种子限速, 对少种的PT很有用, 默认:50K
#bt-request-peer-speed-limit=50K
# 客户端伪装, PT需要
peer-id-prefix=-TR2770-
user-agent=Transmission/2.77
# 当种子的分享率达到这个数时, 自动停止做种, 0为一直做种, 默认:1.0
seed-ratio=0
# 强制保存会话, 话即使任务已经完成, 默认:false
# 较新的版本开启后会在任务完成后依然保留.aria2文件
#force-save=false
# BT校验相关, 默认:true
#bt-hash-check-seed=true
# 继续之前的BT任务时, 无需再次校验, 默认:false
bt-seed-unverified=true
# 保存磁力链接元数据为种子文件(.torrent文件), 默认:false
bt-save-metadata=true

启动Aria2 RPC模式

命令行启动

aria2c --enable-rpc --rpc-listen-all --rpc-allow-origin-all -c  --dir /root/downloads -D (-D daemon模式,用于后台执行)

配置文件启动(推荐)

aria2c --conf-path=

是指配置文件所在的绝对路径。默认位置是:$HOME/.aria2/aria2.conf

依照上述配置一路下来,具体是

aria2c --conf-path="/etc/aria2/aria2.conf" -D
#(-D daemon模式,用于后台执行)

Aria2的使用

命令直接调用

直接在命令行下载aria2c "download.url", 下载完成后自动退出,就和wget 的工作方式一样。这种方法日常并不常用,就不详细介绍了,具体使用命令可查阅手册 Aria2 Manual

搭配Aria2 Web UI使用

Aria2不带GUI界面。了解下载进度会有不便,日常使用需搭配Web UI工具方便查看。

webui-aria2

QQ截图20170605080012.png

YAAW(推荐)

QQ图片20170605080136.png

搭建web服务器(httpd

首先我们先去“https://github.com/ziahamza/webui-aria2”下载最新的WebUI压缩包

下载下来后将其解压,把里面的文件夹上传到服务器或者复制到本机的HTML网页根目录下(如/var/www/html);

如果之前有同名的目录,建议删除再上传

“chmod 755 /var/www/html/webui-aria2”设置权限目录权限,让其有权限下载文件到本地

然后安装httpd

yum -y install httpd
systemctl  enable  httpd
systemctl  start  httpd
/etc/init.d/httpd

直接访问服务器地址,就可访问成功;如果报错,在“设置”–> “服务器设置”中“主机:”后后面填写自己的IP地址就可;

如果Aria2.conf配置文件中启用了RPC安全认证,需要在WEB客户端设置中填入RPC用户名和密码,否则客户端报错!这里强烈建议使用token方式登录

搭建麻烦?访问http://aria2c.com/填入你的配置即可

Apache mod_rewrite实现HTTP和HTTPS重定向跳转

当你的站点使用了HTTPS之后,你可能会想把所有的HTTP请求(即端口80的请求),全部都重定向至HTTPS(即端口443)。这时候你可以用以下的方式来做到:(Apache mod_rewrite)

<IfModule mod_rewrite.c>
 RewriteEngine On
 RewriteBase /
 RewriteCond %{SERVER_PORT} 80
 RewriteRule ^(.*)$ https://jb51.net/$1 [R=301,L]
</IfModule>

把这段代码放在.htaccess文件,即可实现HTTP到HTTPS的重定向。

而当你又想用回HTTP的时候,反过来就可以了:

<IfModule mod_rewrite.c>
 RewriteEngine On
 RewriteBase /
 RewriteCond %{SERVER_PORT} 443
 RewriteRule ^(.*)$ http://jb51.net/$1 [R=301,L]
</IfModule>

其中R=301表示Moved Permanently,即告诉搜索引擎或者浏览器下去直接访问后者的地址,如果只是试验性地重定向,可以使用R=302(Found)。

原文链接

js escape 与php escape

javascript有编码函数escape()和对应的解码函数unescape(),而php中只有个urlencode和urldecode,这个编码和解码函数对encodeURI和encodeURIComponent有效,但是对escape的是无效的。

javascript中的escape()函数和unescape()函数用户字符串编码,类似于PHP中的urlencode()函数,下面是php实现的escape函数代码:

function unescape($str) 
{ 
    $ret = ''; 
    $len = strlen($str); 
    for ($i = 0; $i < $len; $i ++) 
    { 
        if ($str[$i] == '%' && $str[$i + 1] == 'u') 
        { 
            $val = hexdec(substr($str, $i + 2, 4)); 
            if ($val < 0x7f) 
                $ret .= chr($val); 
            else  
                if ($val < 0x800) 
                    $ret .= chr(0xc0 | ($val >> 6)) . 
                     chr(0x80 | ($val & 0x3f)); 
                else 
                    $ret .= chr(0xe0 | ($val >> 12)) . 
                     chr(0x80 | (($val >> 6) & 0x3f)) . 
                     chr(0x80 | ($val & 0x3f)); 
            $i += 5; 
        } else  
            if ($str[$i] == '%') 
            { 
                $ret .= urldecode(substr($str, $i, 3)); 
                $i += 2; 
            } else 
                $ret .= $str[$i]; 
    } 
    return $ret; 
}

%u5F00%u4E1A%u5927%u916C%u5BBE%uFF0C%u5168%u573A%u4F4E%u81F38.8%u5143%uFF01得到的对应结果“开业大酬宾,全场低至8.8元!

linux 下搭建svn服务

鉴于在搭建时,参考网上很多资料,网上资料在有用的同时,也坑了很多人

本文的目的,也就是想让后继之人在搭建svn服务器时不再犯错,不再被网上漫天的坑爹作品所坑害,故此总结

/******开始*********/

系统环境:Centos 6.5

第一步:通过yum命令安装svnserve,命令如下:

>yum -y install subversion

此命令会全自动安装svn服务器相关服务和依赖,安装完成会自动停止命令运行

若需查看svn安装位置,可以用以下命令:

>rpm -ql subversion

第二步:创建版本库目录(此仅为目录,为后面创建版本库提供存放位置)

选择在var路径下创建版本库,当前处于根目录下,一次性创建如下:

>mkdir /var/svn/svnrepos

第三步:创建svn版本库

在第二步建立的路径基础上,创建版本库,命令如下:

>svnadmin create /var/svn/svnrepos/xxxx   (xxxx为你预期的版本库名称,可自定义)

创建成功后,进入xxx目录下

>cd /var/svn/svnrepos/xxxx

进入目录,可以看见如下文件信息:

第四步:配置修改

进入已经创建好的版本库目录下,也就是前文说创建的xxxx

进入conf

>cd /var/svn/svnrepos/xxxx/conf

conf目录下,一共存放三份重要的配置文件,如下:

 

authz:负责账号权限的管理,控制账号是否读写权限

passwd:负责账号和密码的用户名单管理

svnserve.conf:svn服务器配置文件

细节修改如下:(希望大家严格按照以下信息,不用参考网络上其他资料)

修改authz文件信息,如下:

>vi authz

在文件内容的末尾,添加如下:

 

只需在末尾添加,无需在文件其他部分修改和添加任何东西(请忽略groups被我马赛克的地方,那其实也是条无用的记录,我忘记删掉而已),末尾内容如下:

[\]

账号1 = rw

账号2 = rw

。。。。。

rw表示赋予此账号可读写的权限,请注意[]中的斜杠,一定是反斜杠,有些教程说,需添加版本库名称在括号内,我直接建议就这写,这样写允许访问的权限更大,避免一些错误

修改passwd文件信息

>vi passwd

账号密码文件无需做修改,也是直接将账号和密码信息追加到文件中即可,注意格式为:

账号 = 密码

例如:admin = 123456

修改svnserve.conf(重要)

vi svnserve.conf

原始文件内容,都被注释掉的,我们只需要去掉4条指定内容前注释即可,如下:

 

大多数网络资料,都会让大家将authz-db = authz这条给去掉注释,经过我本人多次被坑经验,此条去掉后,虽然svn服务器可以连接,但一直会提示“认证失败”,注释掉即可正常

还有多数资料会让大家在realm = My First Repository处填写服务器ip,经过测试,填写后并无什么用处,所以大家去掉注释即可,无需做任何修改

到此,配置已经全部完成,账号信息已经添加成功

第五步:防火墙开启

多数情况下服务器安装完成,配置完成后,无法连接svn服务器,均是防火墙问题,大家按照如下3条命令逐一执行即可

>/sbin/iptables -I INPUT -p tcp –dport 3690 -j ACCEPT

>/etc/init.d/iptables save

>service iptables restart

执行结果如下图:

 

六:启动svn服务器

在跟目录下,执行如下命令:

>svnserve -d -r /var/svn/svnrepos

启动成功后,可用ps -aux查看服务启动是否成功

七:客户端访问svn服务器

在windows客户端,输入地址:svn://ip地址:3690/xxxx   (iP地址为你linux的ip,xxxx为前文创建的版本库名称,3690为svn默认端口)

弹出输入用户名和密码,输入即可访问

点击阅读原文

很多时候,对于多文件需要上传到服务器的时候将会很麻烦,但是如果使用svn的钩子脚本就容易实现本地提交svn后,自动同步代码文件到远程服务器的网站目录下,而不必手动上传了。

首先,在网站目录下checkout代码,例如我的目录是/data/www/test

svn co https://127.0.0.1/test/trunk/ /data/www/test/


注意,这是因为有时我会在服务器上直接修改代码,所以用checkout,如果不需要,可以用export,此指令不带.svn版本文件。
迁出代码后,就需要建立钩子脚本了,我的版本库放置在/data/svn/test/下,新建一个post-commit脚本,添加如下内容:

#!/bin/sh
REPOS=”$1″
REV=”$2″
 
export LANG=zh_CN.UTF-8      #字符集,与服务器一致,可执行locale命令查看
svn update /data/www/test/   #更新svn
echo `date`,`whoami`,$REPOS,$REV >> /data/svn/test/hooks/svn_hook.log  #记录时间日志
chown -R web:web /data/www/test  #将网站目录文件更改属主,如果你是使用root用户更新的话
给予脚本执行命令:chmod +x /data/svn/test/hooks/post-commit
至此,就完成了svn提交自动更新同步代码了。