本文介绍如何将BigQuery项目中的数据导入嬴图数据库。

以下步骤均在Windows系统上PowerShell中演示。

生成配置文件

打开终端程序，导航至ultipa-importer所在文件夹。执行以下命令，选择bigQuery，为导入BigQuery数据生成样本配置文件：

./ultipa-importer --sample

执行命令后，会在ultipa-importer所在目录下生成配置文件import.sample.bigQuery.yml。如果目录下已有该文件，数据将被覆盖。

修改配置文件

根据实际使用场景修改import.sample.bigQuery.yml文件。该文件包含以下部分：

• mode：设置为bigQuery。
• bigQuery：提供BigQuery访问信息，包括项目ID和身份验证证书路径。
• server：提供嬴图服务器信息，并为数据导入指定目标图（新图或已有图）。
• nodeConfig：定义点schema，其中每个schema对应一个查询结果。查询结果中的各列将映射为点属性。
• edgeConfig：定义边schema，其中每个schema对应一个查询结果。查询结果中的各列将映射为边属性。
• settings：为数据导入设置全局参数和偏好。

# 导入模式：csv/json/jsonl/rdf/graphml/bigQuery/sql/kafka/neo4j/salesforce
mode: bigQuery

# BigQuery访问配置
bigQuery:
  # 数据集所在项目ID
  projectID: "transporter-demo-123"
  # BigQuery服务账户身份验证所需JSON密钥文件路径
  cert: "./transporter-demo-123-xxxxxx.json"

# 嬴图服务器配置
server:
  # 主机IP/URI和端口；若为集群，使用英文逗号分隔
  host: "10.11.22.33:1234"
  username: "admin"
  password: "admin12345"
  # 目标图（新图或已有图）
  graphset: "myGraph"
  # 若上图为新图，指定图所在分片
  shards: "1,2,3"
  # 若上图为新图，指定分片分区算法（Crc32/Crc64WE/Crc64XZ/CityHash64)
  partitionBy: "Crc32"
  # TLS加密证书文件路径
  crt: ""

# 点配置
nodeConfig:
  # 指定schema
  - schema: "Customer"
    # 获取所需数据的SQL查询语句
    sql: "SELECT * FROM `trading.customer`"
    # properties：将查询结果中的各列映射为属性；映射为系统属性_id、_from或_to的各列必须明确设置
    ## name：查询结果中的列名
    ## new_name：属性名；默认为上述名称
    ## type：属性类型；可设置为_id，_from，_to或其他嬴图属性，如int64，float，string等：设置为_ignore时可跳过导入该列
    ## prefix：为属性值增加前缀；仅适用于_id,_from和_to类型
    properties:
      - name: cust_no
        type: _id
        prefix:
      - name: name
        type: string
        new_name: cust_name
      - name: level
        type: int32
  - schema: "Merchant"
    sql: "SELECT * FROM `trading.merchant`"
    properties:
      - name: merch_no
        type: _id
      - name: name
        type: string
      - name: type
        type: string

# 边配置
edgeConfig:
  - schema: "Transfers"
    sql: "SELECT * FROM `trading.transaction`"
    properties:
      - name: trans_no
        type: string
      - name: cust_no
        type: _from
      - name: merch_no
        type: _to
      - name: time
        type: datetime

# 全局设置     
settings:
 # 日志文件路径
  logPath: "./logs"
  # 每批次导入的点或边的数量
  batchSize: 10000
  # 插入模式：insert/overwrite/upsert
  importMode: insert
  # 插入边时，自动创建缺失端点
  createNodeIfNotExist: false
  # 报错时停止数据导入
  stopWhenError: false
  # 设置为true时，自动创建新的图、schema和属性
  yes: true
  # 最大线程数
  threads: 32
  # RPC最大消息传输量（单位：MB）
  maxPacketSize: 40
  # 时间戳对应时区
  # 默认时区："+0200"
  # 时间戳单位，支持毫秒（ms）或秒（s）
  timestampUnit: s

执行导入

使用--config标志指定配置文件，执行数据导入：

./ultipa-importer --config import.sample.bigQuery.yml