523066680

再接着就是从上面的清单中，抓取这些标的的历史日K数据
请注意这个日K数据是设置某一个当前日期，然后倒推的。 设置天数为负数，比如-180天

use utf8;
use Encode;
use Modern::Perl;
use File::Slurp;
use File::Path qw/make_path/;
use Mojo::UserAgent;
use Date::Format;  # time2str
use Date::Parse;   # str2time
use JSON qw/from_json to_json/;
STDOUT->autoflush(1);

my $wdir = "D:/Local/雪球数据/股票数据-日K-20230302-180DAY";
make_path( gbk($wdir) ) unless -d gbk($wdir);

# 提取某个日期之前的日K数据
my %args = (
        'symbol' => '',
        'begin' => time() * 1000 + 3600*24,
        'period' => 'day',
        'type' => 'before',
        'count' => '-185',  # 倒推天数
        'indicator' => 'kline,pe,pb,ps,pcf,market_capital,agt,ggt,balance',
    );

my $ua = Mojo::UserAgent->new();

$ua->cookie_jar->add( 
    Mojo::Cookie::Response->new(
        name   => "xq_a_token",
        value  => "这里改成自己的token",
        domain => 'stock.xueqiu.com',
        path   => '/',
    )
);

my @list = read_file("StockList.txt"); # "ETF.txt"
my $n = 0;
for my $e ( @list )
{
    $n++;
    $e =~ s/\r?\n//;
    my ( $code, $name ) = split(/\s+/, uni($e) );
    my $export = gbk("${wdir}/${code}.json");

    # 忽略科创板和创业板
    next if $code =~ /[A-Z]+(688|300)/;

    if ( -f $export )
    {
        printf "[%d/%d] %s %s already exists\n", $n, scalar(@list), $code, gbk( $name );
        next;
    }
    
    printf "[%d/%d] %s %s\n", $n, scalar(@list), $code, gbk( $name );
    $args{'symbol'} = $code;
    my $res = $ua->get( "https://stock.xueqiu.com/v5/stock/chart/kline.json", form => \%args )->result;
    my $data = $res->json;
    if ( $data->{'error_code'} == 0 )
    {
        $data->{'data'}{'name'} = $name;
        write_file( $export, utf8( to_json( $data) ) );
    }
}

sub gbk { encode('gbk', $_[0]) }
sub utf8 { encode('utf8', $_[0]) }
sub u2gbk { encode('gbk', decode('utf8', $_[0])) }
sub uni { decode('utf8', $_[0]) }
复制代码

523066680

紧接着是从众多 JSON中提取关键字和股票代号
好像从沪深改成 ETF，无所谓了，大概意思

use utf8;
use Encode;
use Modern::Perl;
use File::Slurp;
use File::Path qw/make_path/;
use Mojo::UserAgent;
use JSON qw/from_json to_json/;
STDOUT->autoflush(1);

my $wdir = "D:/Local/雪球数据/ETF一览";
my $count = 0;
my $export = "ETF.txt";
my $buff = "";
for my $f ( glob gbk("$wdir/*.json") )
{
    my $json_str = uni(scalar( read_file( $f )));
    my $data = from_json( $json_str );
    for my $e ( @{$data->{data}{list}} )
    {
        next if $e->{name} =~ /^(ST|\*ST)/i;
        $count ++;
        printf "%s %s\n", $e->{symbol}, gbk($e->{name});
    
        $buff .= sprintf "%s %s\n", $e->{symbol}, $e->{name};
    }
}

write_file( $export, utf8($buff) );

printf "%d\n", $count;

sub gbk { encode('gbk', $_[0]) }
sub utf8 { encode('utf8', $_[0]) }
sub u2gbk { encode('gbk', decode('utf8', $_[0])) }
sub uni { decode('utf8', $_[0]) }
复制代码

部分结果如下：

SH513260 恒生科技ETFQD
SH513380 恒生科技ETF指数
SH517500 游戏沪港深ETF
SZ159605 中概互联ETF
SZ159742 恒生科技指数ETF
SZ159792 港股通互联网ETF
SZ159688 恒生互联网ETF
SH513770 港股互联网ETF
SH513890 恒生科技HKETF
SZ159607 中概互联网ETF
SH513180 恒生科技指数ETF
SH513130 恒生科技ETF
SH513580 恒生科技ETF基金
SH513010 恒生科技30ETF
SZ159750 香港科技50ETF
SH513330 恒生互联网ETF
SZ159869 游戏ETF