Google Cloud: введение в BigQuery

Что такое BigQuery?

  • BigQuery - это полностью управляемый инструмент для работы с большими данными для компаний, которым нужна облачная интерактивная служба запросов для массивных наборов данных.
  • BigQuery - это не база данных, это служба запросов.
  • BigQuery поддерживает запросы SQL, что делает его довольно удобным для пользователя. Доступ к нему можно получить из консоли, интерфейса командной строки или с помощью SDK. Вы можете запрашивать миллиарды строк, запись занимает всего секунды, а возврат - секунды.
  • Вы можете использовать его REST API и выполнять свою работу, отправив запрос JSON.
  • Давайте разберемся на примере. Предположим, вы аналитик данных, и вам нужно проанализировать тонны данных. Если вы выберете такой инструмент, как традиционный MySQL, у вас должна быть готовая инфраструктура, которая может хранить эти огромные данные.
  • Вы можете сосредоточиться на анализе, а не на инфраструктуре. Аппаратная часть полностью абстрагирована.
  • Само проектирование этой инфраструктуры будет сложной задачей, потому что вам нужно будет выяснить размер оперативной памяти, тип процессора или любые другие конфигурации.
  • BigQuery предназначен в основном для больших данных. Не путайте его с базой данных OLTP (Online Transaction Processing).
  • Наборы данных: наборы данных содержат одну или несколько таблиц данных.
  • Таблицы: таблицы представляют собой структуры строка-столбец, в которых хранятся фактические данные.
  • Задания: операции, которые вы выполняете с данными, такие как загрузка данных, выполнение запросов или экспорт данных.
  1. В этой лабораторной работе вы познакомитесь с Cloud BigQuery.
  2. Вы будете создавать набор данных BigQuery и загружать данные CSV.
  1. Войдите в консоль GCP.
  2. Создание набора данных BigQuery.
  3. Создайте таблицу.
  4. Загрузка данных через внешний CSV.
  5. Чтение данных через таблицу с помощью SQL-запроса.
  1. Нажмите на значок гамбургера в верхнем левом углу.
  2. Щелкните BigQuery в разделе BigData.

4. Щелкните три точки и щелкните Создать набор данных .

5. Введите идентификатор набора данных как whizlabs_bq_dataset .

6. Выберите Местоположение данных как Соединенные Штаты (США) .

7. Оставьте указанные параметры как есть.

8. Щелкните Создать набор данных .

9. Щелкните стрелку вправо на боковой панели, чтобы развернуть проект.

10. Вы сможете увидеть набор данных . Щелкните набор данных .

12. Вы можете увидеть значок +, чтобы создать таблицу и загрузить данные.

Загрузка исходного файла:

  1. Щелкните Создать таблицу.
  2. Выберите вариант « Загрузить в источнике» .
  3. Нажмите «Обзор», чтобы выбрать файл в локальной системе. Щелкните здесь, чтобы загрузить файл, который вы можете загрузить.
  4. Введите имя таблицы как user_details . Не выбирайте другое имя. Это требуется для валидации лаборатории.
  5. Оставьте данные параметры как есть.
  6. Нажмите на Флажок для автоматического определения схемы.

8. Щелкните только что созданную таблицу «user_details» .

9. Вы сможете увидеть созданную вами таблицу.

10. Вы можете увидеть схему, как показано.

Запрос данных:

  1. Щелкните Создать новый запрос .

выберите имя пользователя из <project_id> .whizlabs_bq_dataset.user_details`, где возраст> 32

3. Щелкните Выполнить, чтобы запустить запрос.

4. Вы можете увидеть результат в разделе результатов запроса.

Завершение и заключение:

  1. В этой лабораторной работе вы создали набор данных BigQuery.
  2. Вы создали таблицу и загрузили данные через внешний CSV.
  3. Вы прочитали данные из таблицы с помощью SQL-запроса.

Suggested posts

Основы передовых технологий.

Основы передовых технологий.

В последние годы область технологий росла как на дрожжах, и одним из самых захватывающих событий является появление искусственного интеллекта (ИИ) и его потомка, генеративного ИИ. Но что именно входит в эти передовые технологии, что делает их такими передовыми? Сегодня давайте подробнее рассмотрим некоторые основные технические основы, лежащие в основе этих инноваций.

С легкостью создавайте коды погашения в любом масштабе с помощью BigQuery

Создание миллионов уникальных кодов погашения с помощью BigQuery: пошаговое руководство

С легкостью создавайте коды погашения в любом масштабе с помощью BigQuery

Коды погашения превратились в важный элемент современных маркетинговых стратегий. Они позволяют компаниям предлагать своим клиентам акции, скидки и вознаграждения, что приводит к увеличению вовлеченности и продаж.

Related posts

Всегда ли искусство аполитично?

Всегда ли искусство аполитично?

Вчера мы закрыли двери конкурса песни «Евровидение» в этом году блестящим, хаотичным грандиозным финалом, в котором шведская певица Лорин забрала домой трофей, став первой женщиной, выигравшей дважды, и вернув корону Швеции спустя 50 лет после того, как ABBA выиграла конкурс. с «Ватерлоо». Они стали одним из крупнейших исполнителей в каноне поп-музыки.

Медленная эрозия: раскрытие того, как люди угасают в своей карьере

Медленная эрозия: раскрытие того, как люди угасают в своей карьере

В современном быстро меняющемся и конкурентном мире карьера играет важную роль в личностном росте, финансовой стабильности и общей удовлетворенности жизнью. Однако многие люди оказываются в безжалостном цикле застоя и неудовлетворенности, постепенно угасая в своей профессиональной жизни.

«Обнаруженная Марианская впадина: раскрытие ужасающих скрытых истин бездны»

«Обнаруженная Марианская впадина: раскрытие ужасающих скрытых истин бездны»

Введение: Добро пожаловать, смелые читатели, в путешествие, которое приведет нас в самые темные глубины нашей планеты. В этом блоге мы погружаемся в загадочный мир Марианской впадины, раскрывая его скрытые секреты и открывая леденящие кровь истины, которые лежат под его поверхностью.

Опасные разговоры

Опасные разговоры

Если мы хотим продолжать процветать на этой планете, нам придется вести опасные разговоры. Те, которые бросают вызов тому, что мы сделали, что мы делаем и что мы в настоящее время собираемся продолжать делать (или планируем делать).