DELETE FROM pre_table WHERE id in (
SELECT b.id FROM pre_table b
INNER JOIN (SELECT title, COUNT(1) total, MIN(id) as mid FROM pre_table GROUP BY title ORDER BY total desc ) t on t.title = b.title
WHERE t.total>1 AND b.id != t.mid
)

git reset --hard和git clean -f是一对好基友
结合使用他们能让你的工作目录完全回退到最近一次commit的时候

git clean 从工作目录删除所有没有tracked过的文件

reset只影响被track过的文件, 所以需要clean来删除没有track过的文件
结合使用这两个命令能让你的工作目录完全回到一个指定的的状态

用法

git clean -n

是一次clean的演习, 告诉你哪些文件会被删除. 记住他不会真正的删除文件, 只是一个提醒

git clean -f

删除当前目录下所有没有track过的文件. 他不会删除.gitignore文件里面指定的文件夹和文件, 不管这些文件有没有被track过

git clean -f

删除指定路径下的没有被track过的文件

git clean -df

删除当前目录下没有被track过的文件和文件夹

git clean -xf

删除当前目录下所有没有track过的文件. 不管他是否是.gitignore文件里面指定的文件夹和文件

git clean对于刚编译过的项目也非常有用.
能轻易删除掉编译后生成的.o和.exe等文件.
这个在打包要发布一个release的时候非常有用

下面的例子要删除所有工作目录下面的修改, 包括新添加的文件. 假设你已经提交了一些快照了, 而且做了一些新的开发

git reset --hard
git clean -df

$builder = Yii::app()->db->schema->commandBuilder; // 创建builder对象
$command = $builder->createMultipleInsertCommand('{{umeng_message}}', array( // umeng_message为数据库表
    array(// 格式为：'字段' => '值', 不包括主键ID，一个array为一条记录
        'msg_id' => $android['data']['task_id'],
        'detail' => $android['data']['json'],
        'msg_detail_id_fk' => $detailId
    ),
    array(
        'msg_id' => $android['data']['task_id'],
        'detail' => $android['data']['json'],
        'msg_detail_id_fk' => $detailId
    ),
));
$command->execute(); // 执行成功返回true

打开WEB化URL时，页面请求的接口地址是这样的
http://xa4o0w.smartapps.cn/webmapp/api/v1/proxy?url=https%3A%2F%2Fmpapi.lm.com%2FappletV2%2Fall.html

服务器返回了418状态码：
Status Code: 418 I'm a teapot

正常在URL访问接口地址是可以返回数据的

一般识别爬虫的方法是通过 UserAgent，这种办法最直接，但也很容易伪造，先不管这个了。

实现在 Nginx 中使用 map 指令来匹配一个变量：

map $http_user_agent $is_bot {
    default 0;
    ~[a-z]bot[^a-z] 1;
    ~[sS]pider[^a-z] 1;
    'Yahoo! Slurp China' 1;
    'Mediapartners-Google' 1;
}

在这里我们生成了一个名为 $is_bot 的变量，该变量默认值是 0 ，如果匹配到上述 4 种正则表达式的情况后，值就变成1。你可以继续往 map 中添加新的表达式规则。
然后在 location 中使用该变量：

location / {
    error_page 418 =200 @bots;
    if ($is_bot) {
       return 418;
    }
    proxy_pass http://tomcat_for_normal_visitors;
}

@bots 的定义：

location @bots {
    proxy_pass http://tomcat_for_bot;
}

当判断当前请求是爬虫的时候，返回 418 错误码。
通过 error_page 将 418 错误码改为 200 （正常请求响应码），然后进入 @bots 这个 location 进行下一步处理。@bots 中将请求反向代理到你指定的后端应用。

如此便可将正常的用户访问和爬虫访问独立开来，使二者不会互相影响。