Create accountLogin

Recent searches

No recent searches

Search options

Only available when logged in.
ohai.social is one of the many independent Mastodon servers you can use to participate in the fediverse.
A cozy, fast and secure Mastodon server where everyone is welcome. Run by the folks at ohai.is.

Administered by:

Server stats:

1.8K
active users

ohai.social: AboutStatusProfiles directoryPrivacy policy

Mastodon: AboutGet the appKeyboard shortcutsView source codev4.4.0-nightly.2025-04-15

#dataform

0 posts0 participants0 posts today
Public
:rss: DevelopersIO

DataformのREST APIを用いてDataformのGitリポジトリのファイルを複製するスクリプト
dev.classmethod.jp/articles/20

DataformのREST APIを用いてDataformのGitリポジトリのファイルを複製するスクリプト | DevelopersIODataformのREST APIを用いてDataformのGitリポジトリのファイルを複製するスクリプト | DevelopersIODataformの内蔵Gitからファイルをローカルにダウンロードする方法を紹介。REST APIを用いてスクリプトを作成し、トークン取得、ディレクトリ内容のクエリ、ファイル内容の読み取りとデコード、ローカルファイルの作成を行っています。
#dev_classmethod#Google_Cloud_GCP#Dataform
Public
:rss: DevelopersIO

[組織ポリシー]Dataform のサードパーティリポジトリへのリンクを制限する組織ポリシーについて調査してみた
dev.classmethod.jp/articles/20

[組織ポリシー]Dataform のサードパーティリポジトリへのリンクを制限する組織ポリシーについて調査してみた | DevelopersIO[組織ポリシー]Dataform のサードパーティリポジトリへのリンクを制限する組織ポリシーについて調査してみた | DevelopersIODataform のサードパーティリポジトリへのリンクを制限する組織ポリシーについて調査してみました。DataformはGitHubやGitLabとの連携が可能ですが、本ポリシーを使用すると連携を禁止したり指定リポジトリに制限してリンクするということが可能です。
#dev_classmethod#Google_Cloud_GCP#Dataform
Public
:rss: DevelopersIO

Dataform CLI からテストコードを実行して、BigQuery UDF のユニットテストを実施してみる。
dev.classmethod.jp/articles/bi

クラスメソッド発「やってみた」系技術メディア | DevelopersIODataform CLI からテストコードを実行して、BigQuery UDF のユニットテストを実施してみる。 | DevelopersIOこんにちは、みかみです。 犬×3と暮らしていると、なでられていない誰かがおこるかすねるかし始めるので、腕が3本欲しいです。 やりたいこと BigQuery UDF のユニットテストを実施したい GitHub `bigquery-utils` リポジトリで公開されてる、Dataform の BigQuery UDF ユニットテストを実行してみたい bigquery-utils/dataform/examples/dataform_udf_unit_test ｜ GitHub 前提 本エントリでは、Cloud Shell から Dataform CLI を実行しています。 また、Dataform や BigQuery などの操作に必要な API の有効化と権限付与は完了しています。 Cloud Shell の使用 ｜ Cloud Shell ドキュメント コミュニティ UDF のテストを実行 まずは、bigquery-utils リポジトリで公開されている、コミュニティ UDF のユニットテストコードを実行してみます。 README の通り、GitHub のリポジトリを clone して、テスト用ディレクトリに移動しました。 続いて、Dataform CLI をインストールします。 正常にインストールできたようなので、BigQuey に接続するための認証情報ファイルを作成します。 ※プロジェクトIDは伏字に変更しています。 これで準備完了です。 dataform test コマンドで、ユニットテストを実行してみます。 BigQuery コミュニティ UDF のユニットテストが、正常に実行できました。 自分のプロジェクトに作成した UDF をテストしてみる 自分のプロジェクトの BigQuery で以下の SQL を実行し、UDF を作成済みです。 コードはコミュニティ UDF の int 関数を拝借しました。 bigquery-utils/udfs/community/int.sqlx ｜ GitHub 以下のコマンドでメジャーバージョンを1に固定して、 Dataform CLI をインストールします。 続いて README に記載の通り、環境変数で DATAFORM_DIR と自分の PROJECT_ID を設定して、Dataform プロジェクトを作成します。 ※プロジェクトIDは適宜ご変更ください。 自分のGoogle Cloud プロジェクトに作成済みの UDF をテストするための、Dataform プロジェクトが作成できました。 先ほど clone した bigquery-utils リポジトリから、unit_test_utils.js を、コピーします。 以下のテストコードを、definitions フォルダの下に、test_cases.js というファイル名で保存します。 こちらのテストケースも、コミュニティ UDF int …
#dev_classmethod#Google_Cloud_GCP#BigQuery
Public
:rss: Qiita - 人気の記事

Apple Watch で取得したデータを Google Cloud に自動連携して BigQuery + Dataform + Looker Studio でダッシュボードを作った
qiita.com/ogatango/items/645b7

QiitaApple Watch で取得したデータを Google Cloud に自動連携して BigQuery + Dataform + Looker Studio でダッシュボードを作った - Qiitaプロジェクトの区切りに初めて長期休暇を取得することにしました。プロジェクト終盤の忙しさで疲れが溜まっていたので、休暇中に健康的な生活を送るために apple watch から取得したデータを可視化…
#qiita#BigQuery#AppleWatch
Public
brian

BigUpdates! ICYMI, here's some analytics releases on Google Cloud that caught my eye!

1/6: Dataform is still in preview, but the number of regions it's running in has increased: cloud.google.com/dataform/docs

2/6: Dataform also has query previews available. This preview... is in preview: cloud.google.com/dataform/docs

3/6: BigQuery now has case insensitive collation in GA: cloud.google.com/bigquery/docs

4/6: Cloud Spanner now has fine grained access control generally available: cloud.google.com/spanner/docs/

5/6: Dataproc Serverless for Spark now supports Spark runtimes 1.1.6, 2.0.14, and 2.1.0-RC2: cloud.google.com/dataproc-serv

6/6: BigQuery Omni now lets you issue a CREATE TABLE AS SELECT (CTAS) query with a WHERE clause to filter data from AWS S3 and Azure Blob Storage before sending them to BQ. This is in preview: cloud.google.com/bigquery/docs

Google CloudDataform locations  |  Google CloudSee locations where Dataform is available.
#googlecloud#analytics#bigdata
ExploreLive feeds
About