Open Bilibili Crawer

哔哩哔哩是一个信息非常丰富的社交平台，我们基于此构造社交网络。在该网络中，节点包括用户（up主），以及视频、专栏等创作产物；关系包括：用户之间，包括关注关系（following/follower），回复关系（评论区），转发关系（对视频or动态转发）；用户对创作物，包括评论关系（包括评论文本），发弹幕关系（包括弹幕文本），点赞、投币关系等。创作物之间的关系也可以人为构建，比如所属同一类别分区，拥有50%以上的相同tag等。

综上，哔哩哔哩网络是一个信息丰富的异质网络。

我们尝试以一个人为中心，去爬取他的个人信息与创作物信息。通过对指定的一群人进行信息的爬取，我们就可以得到一张信息丰富的异质网络。所以，OBC(Open Bilibili Crawer)的输入是一个用户，或一组用户的id(mid)。

OBC目前封装了三类爬虫：==关系爬虫、个人信息爬虫和视频爬虫==。关系爬虫负责通过默认的following关系爬取用户之间的关系，构建基础用户网络；个人信息爬虫负责抓取用户尽量多的有价值信息，提供用户节点属性；视频爬虫负责爬取视频相关的文本信息与统计类信息，可以进一步丰富用户节点属性，也可以构建异质视频节点。

1. 关系爬虫

由于B站限制，对自己以外的用户最多只能浏览100个关注者/粉丝，所以关系爬虫对每个用户最多爬取100个他的关注者。对于大V来说，关注者数量通常远小于粉丝的数量，所以这种采样方法可以尽量减少网络结构的偏差。该爬虫返回三元组的列表，字段包括：

这样的含义是：from_nd关注了to_nd。

2. 个人信息爬虫

个人信息分散在多个接口中，我们爬取的个人信息字段包括：

还有视频投稿数等一些指标没有集成进来。不过这些应该足够作为节点属性了。

3. 视频爬虫

该爬虫首先找到个人最近投稿的最多50条视频，然后对每条视频抓取一些文本信息和统计量。视频条数可以扩充。

文本信息包括视频所属类别(typeid)和视频的标签(tag 、tid)。爬虫还会存储所有遇见过的标签的信息，包括标签的题目、tid、关注该标签的人数、使用过该标签的人数等。此外，只需要建立typeid和标签的关联就可以大致判断出typeid代表的分区类型。统计量包括视频播放量等一系列数值。此外，接口还提供了视频时长、视频发布时间等更多的指标，这些并没有集成进来。

目前，每个人的视频信息包括：

    "mid" : 359797,      //mid
    "video_type" : {     //对视频所属种类的统计，视频种类以typeid代表
        "138" : 44,
        "21" : 4,
        "240" : 1,
        "28" : 1
    },
    "video_tag" : {     //对视频的标签出现频次按照降序排列，最多存50个，标签以标签id(tid)代表，可以在全局存标签信息的数据中查找到对应的标签名
        "1711163" : 38,
        "1833" : 17,
        "7662089" : 11,
        "6497596" : 10,
        "13926" : 9,
        ...
        "19327" : 1,
        "34356" : 1
    },
    "video_stat" : [   // 列表，每个元素都是视频的一些统计信息，包括8个指标
        {
            "aid" : 848235319,
            "bvid" : "BV1ZL4y1872w",
            "view" : 84679,
            "danmaku" : 107,  // 弹幕数
            "reply" : 273,
            "favorite" : 299,
            "coin" : 302,
            "share" : 309,
            "like" : 5082,
            "his_rank" : 0  // 0以外越小越好
        }, 
        {
            "aid" : 848011693,
            "bvid" : "BV1aL4y1a77s",
            "view" : 3128993,
            "danmaku" : 1767,
            "reply" : 4511,
            "favorite" : 33329,
            "coin" : 21221,
            "share" : 46047,
            "like" : 177489,
            "his_rank" : 34
        }, 
        ...
        ]

可以这样利用视频信息：

1. 对每个人取topK个标签，把标签编码为向量后作为用户节点的属性之一
2. 取每个人的视频所属类别最多的那个类别（typeid）作为用户节点的标签，看成K类别的多分类问题
3. 视频的统计量，每个指标取sum/mean/max作为用户节点属性的一个维度

每个标签的信息如下：

{
	"tid" : 1767558,
    "tag_name" : "VLOG日常",
    "subscribe" : 5225,  // 关注数
    "use" : 1447949,     // 使用数
    "feature" : 0
}

4. Future Work

OBC建立在已圈定一批用户的基础上，对这批用户构造信息丰富的网络结构。如何圈定用户不在OBC职能之内。

未来工作包括：

1. 构造异质节点和边：目前虽然可以构造视频节点，但用户和视频之间只有”发布视频“一种关系，还没有办法增加其他”用户--视频“关系如点赞、评论等。
2. 本网络能服务于哪些下游任务？需要我们和看到此项目的各位一同思考。
3. 增强OBC性能：添加代理、多线程等。