523066680

枚举目录内容，如果是文件在开头给出尺寸，如果是文件夹，在开头给出 DIR 或者 FOLD 的标记，遇到链接自动绕开
输出UNICODE编码的字符。

须使用 g++ 编译

/*
    Code by:523066680@163.com
    2017-01
*/

#include <stdio.h>
#include <fcntl.h>
#include <dirent.h>
#include <wchar.h>
#include <sys/stat.h>
#include <sys/types.h>
#include <string.h>
#include <windows.h>

#define NAME_MAX 10240

void func(wchar_t path[]);
void console_print(const wchar_t str[]);
void CheckConsoleRedirect(void);

DWORD written = 0;
static bool g_bRedirect = false;

int wmain(int argc, wchar_t *argv[] ) 
{
    wchar_t pth[NAME_MAX] = L"D:\\Extra\\";
    
    //首先判断是否为重定向
    CheckConsoleRedirect();

    if ( argc >= 2 )
    {
        if ( argv[1][wcslen(argv[1])-1] == '\\' )
            swprintf(pth, L"%ls", argv[1] );
        else
            swprintf(pth, L"%ls\\", argv[1] );
    }

    func( pth );

    return 0;
}

void func( wchar_t path[] )
{
    DWORD attr;
    _WDIR * a = _wopendir(path);
    _wdirent * dp;
    _WDIR * aa;
    struct stat stbuf;
    wchar_t full_info[NAME_MAX] = L"";

    WCHAR fullpath[NAME_MAX] = L"";

    swprintf(full_info, L"FOLD: %ls\r\n", path );
    console_print( full_info );

    //打印目录内容
    while ( dp = _wreaddir(a) )
    {
        //排除 当前文件夹 和 上一级 文件夹
        if ( 
               ( wcscmp(dp->d_name, L"." )  == 0 )
            || ( wcscmp(dp->d_name, L".." ) == 0 )
        )
        { continue; }
        swprintf(fullpath, L"%ls%ls", path, dp->d_name);
        wstat(fullpath, &stbuf);
        attr = GetFileAttributesW(fullpath);

        //排除符号链接类型的文件和目录
        if ( (attr & FILE_ATTRIBUTE_REPARSE_POINT) != FILE_ATTRIBUTE_REPARSE_POINT )
        {
            if ( (attr & FILE_ATTRIBUTE_DIRECTORY) == FILE_ATTRIBUTE_DIRECTORY )
            {
                swprintf(full_info, L"%16ls %ls\r\n", L"DIR", dp->d_name );
                console_print( full_info );
            }
            else
            {
                swprintf(full_info, L"%16lld %ls\r\n", stbuf.st_size, dp->d_name );
                console_print( full_info );
            }
        }
    }
    _wclosedir(a);

    //递归流程
    a = _wopendir(path);
    while ( dp = _wreaddir(a) )
    {
        //排除 当前文件夹 和 上一级 文件夹
        if ( 
               ( wcscmp(dp->d_name, L"." )  == 0 )
            || ( wcscmp(dp->d_name, L".." ) == 0 )
        )
        {
            continue;
        }

        swprintf(fullpath, L"%ls%ls", path, dp->d_name);
        attr = GetFileAttributesW(fullpath);

        //排除符号链接类型的文件和目录
        if ( (attr & FILE_ATTRIBUTE_REPARSE_POINT) != FILE_ATTRIBUTE_REPARSE_POINT )
        {
            if ( (attr & FILE_ATTRIBUTE_DIRECTORY) == FILE_ATTRIBUTE_DIRECTORY )
            {
                swprintf(fullpath, L"%ls%ls\\", path, dp->d_name);
                func( fullpath );
            }
        }
    }
    _wclosedir(a);
}

void console_print(const wchar_t str[])
{
    if ( ! g_bRedirect )
    {
        WriteConsoleW(
            GetStdHandle(STD_OUTPUT_HANDLE), str, wcslen(str)  , &written, NULL
        );
    }
    else
    {
        WriteFile(
            GetStdHandle(STD_OUTPUT_HANDLE), str, wcslen(str) * sizeof( str[0] ) , &written, NULL
        );
    }
}

void CheckConsoleRedirect(void)
{
    if (!GetConsoleMode(GetStdHandle(STD_OUTPUT_HANDLE), &written))
    {
        g_bRedirect = true;
        WriteFile(GetStdHandle(STD_OUTPUT_HANDLE), "\xFF\xFE", 2, &written, 0);
    }
}
复制代码

输出的一部分示例：

Fold: D:\Extra\
       21253 065738_6eeL_1428332.jpg
      362664 1440339f6bzggbp0x16gp3.jpg
      398975 144034a5tty5g2s2azd3bg.jpg
      229915 144037xhfh2jhzh1g1b2jf.jpg
       40421 6cc028c79f3df8dc7a6e5322cd11728b461028c5.jpg
     1853657 7cefdfa5jw1ez6iowueepg206l067qv5.gif
         DIR Book
    11714560 freetype-2.4.0.tar
     2903989 ft27.zip
         DIR graphics
复制代码

如此一来可以顺便写一个文件夹按大小排序的脚本。

523066680

感谢 happy886rr 的加分。

刚刚测试这个 C 有点问题，在遇到大于 4G 的文件时输出的文件大小不正确（超过4字节的溢出）。
把 stat() 改为 _wstat64()
把 struct stat  改为 struct _stat64
以及 printf 中的 %ld 改为 %lld 即可

523066680

现在可以设定一个阀值，比如值列出大小超过100MB 且内容疑似相同的文件夹

代码自带混淆，看官自觉绕道

=info
    Code by 523066680@163.com
    2017-01
=cut

use Encode;
use IO::Handle;
use Digest::MD5 qw/md5_hex/;
use YAML::Tiny;
STDOUT->autoflush(1);

print "Getting file list ...\n";
system('listv1.3 D: >D:\a.txt');

our $hash = {};
our @lines;
our %fold_md5;
our %md5map;
my $gstr;
my $ref;

print "Path to struct ...\n";
open READ,"<:raw",'D:\a.txt';
seek(READ, 2, 0);
{
    local $/ = "\x0d\x00\x0a\x00";
    while ($line = <READ>)
    {
        $line =~s/\x0d\x00\x0a\x00//;
        $gstr = encode('gbk', decode('utf16-le', $line));
        if ( $gstr=~s/^FOLD: //i )
        {
            $ref = toStruct( $gstr );
            push @lines, $gstr;
        }
        else
        {
            if ( $gstr=~s/^\s+(\d+) // )
            {
                $ref->{$gstr} = $1;
            }
            else
            {
                #nothing to do
            }
        }
    }
}
close READ;

print "Compare ...\n";
compare();

sub compare
{
    my @parts;
    my $ref;
    my $md5;

    print "Getting md5 information ...\n";
    open WRT, ">:raw", "D:\\md5map.txt";
    for my $i ( 0 .. $#lines )
    {
        @parts = split(/[\/\\]/, $lines[$i]);
        $ref = $hash;
        grep { $ref = $ref->{$_} } ( @parts );   #将引用迭代到路径的最后一层
        next if (! keys %{$ref} );               #如果没有下一层文件内容则略过
        
        $md5 = md5_hex( Dump($ref) );
        $fold_md5{ $lines[$i] } = $md5;

        print WRT $md5 ." ". encode('utf8', decode('gbk', $lines[$i])) ."\n";
    }
    close WRT;

    for my $k ( keys %fold_md5 )
    {
        $md5 = $fold_md5{$k};
        push @{ $md5map{$md5} }, $k;
    }

    my $info = { 'sizes' => 0,
                 'folds' => 0,
                 'files' => 0 };

    print "Find same folder\n";
    for my $k ( keys %md5map )
    {
        if ( $#{$md5map{$k}} > 0 )
        {
            @parts = split(/[\/\\]/, $md5map{$k}->[0] );
            $info = { 'sizes' => 0, 'folds' => 0, 'files' => 0 };
            $ref = $hash;
            grep { $ref = $ref->{$_} } ( @parts );
            Summarize( $ref, $info );

            if ( $info->{sizes} > 1024*1024*100 ) #100MB
            {
                print int($info->{sizes}/1024/1024) ."mb\n";
                print join("\n", @{$md5map{$k}} );
                print "\n\n";
                #dump_byPath( $md5map{$k}->[0] );
            }
        }
    }
}

sub dump_byPath
{
    my $path = shift;
    my $ref = $hash;
    for my $e ( split(/[\/\\]/, $path) )
    {
        $ref = $ref->{$e};
    }
    print Dump( $ref );
}

#获取某个目录的文件大小总和
sub Summarize
{
    my ($ref, $info) = (shift, shift);

    for my $k ( keys %{$ref} )
    {
        if (ref( $ref->{$k} ) eq 'HASH')
        {
            $info->{folds} ++;
            Summarize( $ref->{$k}, $info );
        }
        else
        {
            $info->{files} ++;
            $info->{sizes} += $ref->{$k};
        }
    }
}

sub toStruct
{
    my $path = shift;
    my @parts = split(/[\/\\]/, $path);
    my $ref;
    $ref = $hash;

    for my $e ( @parts )
    {
        if ( not exists $ref->{$e} )
        {
            $ref->{$e} = {};
        }
        $ref = $ref->{$e};
    }
    return $ref;
}
复制代码

输出示例：

117mb
D:\Local\Dict\Youdao\Source\
D:\Dupl\Dict\有道\

506mb
D:\Dupl\设计软件\CoreldrawX5+资料\coreldraw x5\coreldraw x5\CGS15\
D:\Program Files (x86)\Corel\CorelDRAW Graphics Suite X5\Setup\CGS15\

1503mb
D:\3DGameProgramming\Figures\
D:\Data\Books\Book IV\Figures\

249mb
D:\3DGameProgramming\Figures\Chapter 8 Texturing\
D:\Data\Books\Book IV\Figures\Chapter 8 Texturing\
复制代码

这酸爽，原来我D盘有几个G 的副本……

happy886rr

回复 18# 523066680
判断大文件可抽样md5，二分法抽样，这样误判几率小于1/pow(2,n)，目前对大文件只能做抽样md5检测。

CrLf

回复 19# happy886rr


    既然都明确要对比两个文件了，直接用 memcmp 不是更直接吗

523066680

回复 19# happy886rr


    也想过抽样。好在对于一般的硬盘，上G的文件也多不到哪里去。(先满足个人需求了 )
回老家了，爪机码字

happy886rr

回复 20# CrLf
这个函数不错嘛。

happy886rr

回复 21# 523066680
带个本本随地办公吧。不过，我觉得还是回老家有年味，城里都不热闹啊。